Awesome GitHub RepositoriesDistributed GPU Task Runners

XGBoost is a distributed machine learning library for implementing scalable gradient boosting decision trees used for regression, classification, and ranking. It functions as a predictive model framework and a cross-language toolkit, providing a core implementation with native bindings for Python, R, Java, Scala, and C++. The system is designed as a GPU-accelerated library that utilizes CUDA and NCCL to speed up the training of decision tree ensembles. It operates as a distributed framework capable of scaling training and prediction across multi-node clusters and GPU environments to process m

Dask एक पैरेलल कंप्यूटिंग फ्रेमवर्क और डिस्ट्रीब्यूटेड टास्क शेड्यूलर है जिसे Python डेटा साइंस वर्कफ़्लो को सिंगल मशीनों से बड़े क्लस्टर्स तक स्केल करने के लिए डिज़ाइन किया गया है। यह एक क्लस्टर रिसोर्स मैनेजर के रूप में कार्य करता है जो कार्यों और उनकी डिपेंडेंसी को डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) के रूप में प्रस्तुत करके कम्प्यूटेशनल लॉजिक को व्यवस्थित करता है। यह आर्किटेक्चर सिस्टम को जटिल निष्पादन आवश्यकताओं का प्रबंधन करते हुए उपलब्ध हार्डवेयर पर वर्कलोड के वितरण को स्वचालित करने की अनुमति देता है। यह प्रोजेक्ट एक लेज़ी इवैल्यूएशन इंजन के माध्यम से खुद को अलग करता है जो डेटा ऑपरेशन्स को तब तक स्थगित कर देता है जब तक कि उन्हें स्पष्ट रूप से अनुरोध न किया जाए, जिससे ग्लोबल ग्राफ ऑप्टिमाइज़ेशन और कुशल संसाधन आवंटन सक्षम होता है। इसमें उपलब्ध मेमोरी से अधिक डेटासेट को प्रोसेस करते समय सिस्टम क्रैश को रोकने के लिए मेमोरी-अवेयर डेटा स्पिलिंग शामिल है, और यह टास्क ग्राफ फ्यूजन का उपयोग ऑपरेशन्स के अनुक्रमों को एकल निष्पादन चरणों में संयोजित करने के लिए करता है, जिससे शेड्यूलिंग ओवरहेड और इंटर-नोड संचार कम हो जाता है। यह प्लेटफॉर्म बड़े पैमाने पर डेटा एनालिटिक्स के लिए एक व्यापक क्षमता सतह प्रदान करता है, जिसमें डिस्ट्रीब्यूटेड मशीन लर्निंग, उच्च-प्रदर्शन कंप्यूटिंग एकीकरण, और पैरेलल डेटा प्रोसेसिंग के लिए समर्थन शामिल है। यह क्लस्टर लाइफसाइकिल मैनेजमेंट, परफॉरमेंस प्रोफाइलिंग, और टास्क निष्पादन की रीयल-टाइम मॉनिटरिंग के लिए व्यापक उपकरण प्रदान करता है। उपयोगकर्ता इन वातावरणों को स्थानीय हार्डवेयर, क्लाउड प्रदाताओं, कंटेनरीकृत सिस्टम, और उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर्स सहित विविध बुनियादी ढांचे पर तैनात कर सकते हैं।

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

StableSwarmUI Stable Diffusion इमेज जनरेशन के लिए एक वेब इंटरफेस और बैकएंड ऑर्केस्ट्रेटर है। यह एक डिस्ट्रीब्यूटेड GPU इमेज जनरेटर और एक मॉड्यूलर AI इमेज पाइपलाइन के रूप में कार्य करता है, जो इमेज जनरेशन अनुरोधों को प्रबंधित करने के लिए एक केंद्रीकृत कंट्रोलर प्रदान करता है। यह सिस्टम बैच थ्रूपुट बढ़ाने के लिए कई ग्राफिक्स प्रोसेसर्स में जनरेशन कार्यों को विभाजित करने की क्षमता के माध्यम से खुद को अलग बनाता है। यह स्थानीय सर्वर, रिमोट सर्वर और क्लाउड APIs से जुड़ने के लिए एक बैकएंड-अज्ञेयवादी इंटरफेस का उपयोग करता है, और जटिल इमेज प्रोसेसिंग ऑपरेशन्स को परिभाषित करने के लिए एक ग्राफ-आधारित विज़ुअल वर्कफ़्लो डिज़ाइनर शामिल करता है। इस प्लेटफ़ॉर्म में कस्टम सुविधाएं जोड़ने के लिए एक डायनामिक प्लगइन एक्सटेंशन सिस्टम और सिस्टम-स्तरीय डिपेंडेंसीज़ के प्रावधान के लिए स्वचालित यूटिलिटीज शामिल हैं। यह मॉड्यूलर जनरेशन टूल्स और रैपिड एडिटिंग इंटरफेस को डिस्ट्रीब्यूटेड हार्डवेयर में वर्कलोड को रूट करने की क्षमता के साथ जोड़ता है।

SwarmUI, Stable Diffusion के लिए एक वेब-आधारित इंटरफेस और ऑर्केस्ट्रेटर है, जिसे इमेज और वीडियो उत्पन्न करने के लिए डिज़ाइन किया गया है। यह एक मॉड्यूलर वर्कफ़्लो मैनेजर और एक API गेटवे के रूप में कार्य करता है जो जेनरेटिव AI पाइपलाइन्स के कॉन्फ़िगरेशन और निष्पादन की अनुमति देता है। यह सिस्टम प्रोसेसिंग गति और कुल थ्रूपुट को बढ़ाने के लिए कई ग्राफिक्स कार्ड्स में जनरेशन वर्कलोड को वितरित करने की अपनी क्षमता के लिए जाना जाता है। यह एक डिकपल्ड क्लाइंट-सर्वर आर्किटेक्चर और बैकएंड-अज्ञेयवादी इंटरफेस का उपयोग करता है, जिससे यूजर इंटरफेस मॉडल निष्पादन एनवायरनमेंट से अलग रहता है। यह प्लेटफ़ॉर्म नए UI घटकों और लॉजिक हैंडलर्स को जोड़ने के लिए प्लगइन-आधारित आर्किटेक्चर के माध्यम से विस्तारशीलता का समर्थन करता है। यह बाहरी एप्लिकेशनों के लिए HTTP और WebSocket एंडपॉइंट्स के माध्यम से प्रोग्रामेटिक नियंत्रण प्रदान करता है ताकि वे जनरेशन को ट्रिगर कर सकें और रीयल-टाइम में स्टेट को सिंक्रोनाइज़ कर सकें। नेटवर्क पर जेनरेटिव एनवायरनमेंट तक रिमोट उपयोगकर्ता पहुंच प्रदान करने और प्रबंधित करने के लिए एडमिनिस्ट्रेटर टूल्स शामिल हैं।