Awesome GitHub RepositoriesDistributed GPU Computing

Megatron-LM is a distributed transformer training library and large language model training framework designed to scale models across thousands of GPUs. It functions as a GPU-optimized deep learning toolkit and a scaling engine for mixture-of-experts architectures, enabling the training of models with hundreds of billions of parameters. The project implements multi-dimensional model parallelism, combining tensor, pipeline, data, expert, and context-based workload distribution. It specifically optimizes mixture-of-experts architectures through integrated memory and communication improvements t

Horovod is a distributed deep learning framework designed to scale machine learning training across multiple GPUs and nodes. It functions as an orchestrator for multi-GPU scaling and a tool for distributed gradient averaging, allowing users to increase compute capacity without rewriting core model logic. The project provides a consistent communication interface that supports multi-framework model distribution across TensorFlow, PyTorch, Keras, and MXNet. It leverages an MPI distributed training library to synchronize gradients across processes using collective communication operations. The s

This project is a quantized fine-tuning framework for large language models. It implements a low-rank adaptation library and a four-bit quantizer to reduce the GPU memory requirements needed to train large models. The framework utilizes four-bit quantization and low-rank adapters to enable model training on consumer-grade hardware. It further reduces the memory footprint through double quantization and a paged optimizer that offloads states to system RAM. The system supports distributed training across multiple GPUs to handle larger parameter scales and includes utilities for custom dataset

Petals is a decentralized framework and inference engine for running large language models across a peer-to-peer network. It enables the execution of models that exceed the memory of any single machine by splitting computations and model layers across a collaborative swarm of GPUs. The system functions as a collaborative compute network where participants share local GPU resources and host model weights. It supports distributed prompt-tuning to adapt massive models to specific tasks and allows for the establishment of private compute swarms to process sensitive data within restricted, trusted

cuDF is a GPU-accelerated dataframe library and data processing engine designed for manipulating and analyzing large tabular datasets. It provides a high-level API for executing filtering, joining, and aggregating operations directly on GPU hardware. The project integrates the Apache Arrow memory format to enable zero-copy data transfers and includes a just-in-time compiler for executing custom user-defined functions on the GPU. The library features specialized acceleration for existing workflows by redirecting standard Pandas dataframe calls and Polars query plans to a GPU backend. It also p

TensorTrade is a reinforcement learning trading framework designed for training and deploying autonomous agents that optimize financial market strategies. It provides an algorithmic trading simulation environment where agents can be tested against market data using simulated broker environments. The framework features a distributed training system using RLlib to optimize decision policies across large datasets. It includes a walk-forward validation tool that evaluates trading strategies through windowed performance analysis to prevent overfitting and measure real-world viability. The project

यह प्रोजेक्ट टेक्स्ट-टू-इमेज ट्रांसफार्मर का एक PyTorch इम्प्लीमेंटेशन है। यह एक जेनरेटिव AI मॉडल है जिसे टेक्स्ट विवरण से विज़ुअल कंटेंट बनाने के लिए ट्रांसफार्मर नेटवर्क का उपयोग करके डिस्क्रीट टेक्स्ट टोकन को इमेज पिक्सल पर मैप करने के लिए डिज़ाइन किया गया है। सिस्टम ट्रांसफार्मर प्रोसेसिंग के लिए विज़ुअल डेटा को टोकन में संपीड़ित करने के लिए एक डिस्क्रीट VAE इमेज एनकोडर का उपयोग करता है। यह अनुमान के दौरान टेक्स्ट प्रॉम्प्ट के प्रभाव को समायोजित करने के लिए क्लासिफायर-फ्री गाइडेंस का समर्थन करता है और टेक्स्ट प्रॉम्प्ट के साथ उनकी समानता के आधार पर उत्पन्न छवियों को रैंक करने की क्षमताएं शामिल करता है।

यह ट्रांसफॉर्मर-आधारित लैंग्वेज मॉडल्स को ट्रेन करने के लिए एक PyTorch डीप लर्निंग इम्प्लीमेंटेशन है। यह एक वितरित GPU ट्रेनर और फ्रेमवर्क के रूप में कार्य करता है जिसे बढ़ी हुई गति और सैंपल दक्षता के लिए टेक्स्ट प्रेडिक्शन मॉडल्स को ऑप्टिमाइज़ करने के लिए डिज़ाइन किया गया है। यह प्रोजेक्ट Newton-Schulz वेट ऑप्टिमाइज़र के उपयोग के लिए प्रतिष्ठित है। यह विधि सेमी-ऑर्थोगोनल पैरामीटर अपडेट्स और वेट मैट्रिसेस को बनाए रखने के लिए एक इटरेटिव प्रक्रिया लागू करती है, जो सैंपल दक्षता में सुधार करती है और ट्रेनिंग प्रक्रिया के दौरान मेमोरी ओवरहेड को कम करती है। यह फ्रेमवर्क वितरित GPU कंप्यूटिंग में व्यापक क्षमताओं को कवर करता है, जिसमें कई ग्राफिक्स प्रोसेसर्स में वर्कलोड को स्केल करने के लिए डेटा पैरेललिज्म शामिल है। यह इटरेटिव मोमेंटम ऑप्टिमाइज़ेशन और हाई-थ्रूपुट बैच प्रोसेसिंग जैसी न्यूरल नेटवर्क ऑप्टिमाइज़ेशन तकनीकों को भी शामिल करता है।

cuml, एक GPU-एक्सेलेरेटेड मशीन लर्निंग लाइब्रेरी और फ्रेमवर्क है जो टैबुलर डेटा प्रीप्रोसेसिंग और मॉडल निष्पादन को गति देने के लिए CUDA का उपयोग करता है। यह NVIDIA GPUs और GPU क्लस्टर्स पर क्लासिफिकेशन, रिग्रेशन और क्लस्टरिंग मॉडल्स को प्रशिक्षित और डिप्लॉय करने के लिए टूल्स का एक सूट प्रदान करता है। लाइब्रेरी को स्केलेबिलिटी के लिए डिज़ाइन किया गया है, जो एक डिस्ट्रिब्यूटेड GPU मशीन लर्निंग वातावरण प्रदान करती है जो सिंगल-डिवाइस मेमोरी से अधिक डेटासेट्स को संभालने के लिए हार्डवेयर एक्सेलेरेटर्स और नोड्स में गणना और डेटा फैला सकती है। यह मानक एस्टिमेटर इंटरफ़ेस को मिरर करती है ताकि मौजूदा वर्कफ़्लो के भीतर CPU-आधारित मॉडल्स को GPU-एक्सेलेरेटेड वर्शन्स के साथ बदला जा सके। प्रोजेक्ट मशीन लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें सुपरवाइज्ड लर्निंग, अनसुपरवाइज्ड क्लस्टरिंग, नियरेस्ट नेबर सर्च और हाई-डायमेंशनल डाइमेंशनलिटी रिडक्शन शामिल है।

TransformerLab एक MLOps ऑर्केस्ट्रेशन प्लेटफ़ॉर्म और रिसर्च एनवायरनमेंट है, जिसे लार्ज लैंग्वेज मॉडल्स (LLMs) की ट्रेनिंग, फ़ाइन-ट्यूनिंग और मूल्यांकन के लिए डिज़ाइन किया गया है। यह मशीन लर्निंग जॉब्स को मैनेज करने और हाइब्रिड क्लाउड व ऑन-प्रेमिस प्रोवाइडर्स के बीच डिस्ट्रिब्यूटेड GPU कंप्यूट को कोऑर्डिनेट करने के लिए एक सेंट्रलाइज्ड कंट्रोल प्लेन के रूप में कार्य करता है। यह प्लेटफ़ॉर्म एजेंट-संचालित मॉडल ऑप्टिमाइज़ेशन के माध्यम से खुद को अलग बनाता है, जहाँ AI असिस्टेंट्स मेट्रिक्स का विश्लेषण करते हैं और स्वचालित रूप से हाइपरपैरामीटर प्रयोगों का प्रस्ताव और कतार (queue) तैयार करते हैं। यह एक रिमोट डेवलपमेंट एनवायरनमेंट प्रदान करता है जो उपयोगकर्ताओं को सीधे रिमोट कंप्यूट नोड्स पर इंटरैक्टिव नोटबुक, कोड एडिटर और सिक्योर शेल (SSH) सेशन लॉन्च करने की सुविधा देता है। यह सिस्टम मशीन लर्निंग वर्कफ़्लो क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें डिस्ट्रिब्यूटेड टास्क कोऑर्डिनेशन, स्वचालित हाइपरपैरामीटर स्वीप्स और व्यापक एक्सपेरिमेंट ट्रैकिंग शामिल हैं। इसमें डेटासेट और मॉडल आर्टिफैक्ट्स के वर्ज़निंग के लिए इंटीग्रेटेड रजिस्ट्रीज़, साथ ही मॉडल प्रदर्शन मूल्यांकन और इन्फ़्रेंस सर्वर डिप्लॉयमेंट के लिए टूल्स शामिल हैं। प्लेटफ़ॉर्म कंट्रोल, जॉब मॉनिटरिंग और लोकल सर्वर इंस्टेंस के इंस्टॉलेशन व अपडेट्स को मैनेज करने के लिए एक कमांड-लाइन इंटरफ़ेस प्रदान किया गया है।

StableSwarmUI Stable Diffusion इमेज जनरेशन के लिए एक वेब इंटरफेस और बैकएंड ऑर्केस्ट्रेटर है। यह एक डिस्ट्रीब्यूटेड GPU इमेज जनरेटर और एक मॉड्यूलर AI इमेज पाइपलाइन के रूप में कार्य करता है, जो इमेज जनरेशन अनुरोधों को प्रबंधित करने के लिए एक केंद्रीकृत कंट्रोलर प्रदान करता है। यह सिस्टम बैच थ्रूपुट बढ़ाने के लिए कई ग्राफिक्स प्रोसेसर्स में जनरेशन कार्यों को विभाजित करने की क्षमता के माध्यम से खुद को अलग बनाता है। यह स्थानीय सर्वर, रिमोट सर्वर और क्लाउड APIs से जुड़ने के लिए एक बैकएंड-अज्ञेयवादी इंटरफेस का उपयोग करता है, और जटिल इमेज प्रोसेसिंग ऑपरेशन्स को परिभाषित करने के लिए एक ग्राफ-आधारित विज़ुअल वर्कफ़्लो डिज़ाइनर शामिल करता है। इस प्लेटफ़ॉर्म में कस्टम सुविधाएं जोड़ने के लिए एक डायनामिक प्लगइन एक्सटेंशन सिस्टम और सिस्टम-स्तरीय डिपेंडेंसीज़ के प्रावधान के लिए स्वचालित यूटिलिटीज शामिल हैं। यह मॉड्यूलर जनरेशन टूल्स और रैपिड एडिटिंग इंटरफेस को डिस्ट्रीब्यूटेड हार्डवेयर में वर्कलोड को रूट करने की क्षमता के साथ जोड़ता है।

NCCL is a high-performance communication library and distributed GPU computing framework designed for executing collective and point-to-point data exchanges across multiple GPUs in single or multi-node systems. It serves as an RDMA GPU transport layer and memory orchestrator, facilitating high-bandwidth synchronization of data and model gradients for distributed GPU training and inference. The library is distinguished by its ability to execute communication primitives directly from GPU kernels, removing the host CPU from the critical path. It utilizes topology-aware path selection to optimize

Amazon DSSTNE is a machine learning toolkit and sparse tensor network library designed for deep learning models with sparse inputs and outputs. It provides a model-parallel training framework and a GPU-accelerated sparse engine to support memory-intensive networks. The framework is specifically designed for recommendation system training and large-scale sparse learning. It enables the distribution of large weight matrices and embedding tables across multiple GPU devices to handle models that exceed the memory capacity of a single processor. The project covers a broad range of capabilities in

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

CML is a pipeline automation tool for training and evaluating machine learning models, functioning as a CI/CD system for machine learning. It serves as a cloud compute orchestrator and Git-based workflow manager that automates model training cycles through branch management, automated commits, and integrated reporting. The project distinguishes itself by provisioning ephemeral cloud instances or Kubernetes nodes to provide specialized hardware for compute-heavy tasks. It also manages remote compute runners, allowing the connection of self-hosted GPU clusters or on-premise machines to execute

Acme एक रीइन्फोर्समेंट लर्निंग फ्रेमवर्क और एक्ज़ीक्यूशन इंजन है जिसे लर्निंग एल्गोरिदम विकसित करने और बेंचमार्क करने के लिए डिज़ाइन किया गया है। यह एजेंटों का निर्माण करने और प्रदर्शन बेसलाइन स्थापित करने के लिए उपयोग किए जाने वाले मॉड्यूलर घटकों और संदर्भ कार्यान्वयनों की एक लाइब्रेरी प्रदान करता है। यह सिस्टम एजेंट आर्किटेक्चर को सिंगल-स्ट्रीम एक्ज़ीक्यूशन से बड़े वितरित वातावरण तक स्केल करने में सक्षम बनाता है। यह शुरुआती प्रोटोटाइपिंग से प्रशिक्षण और मूल्यांकन के लिए वितरित एक्ज़ीक्यूशन में संक्रमण की अनुमति देता है। यह फ्रेमवर्क रीइन्फोर्समेंट लर्निंग डेवलपमेंट और एजेंट आर्किटेक्चर प्रोटोटाइपिंग को कवर करता है, जो मानक संदर्भ एजेंटों के खिलाफ नए मॉडलों को बेंचमार्क करने के लिए आवश्यक बिल्डिंग ब्लॉक्स प्रदान करता है।

Discoart is a diffusion model orchestration framework and distributed GPU generation engine designed to automate and scale image generation workflows across hardware clusters. It functions as a generative AI model API, providing HTTP and gRPC endpoints to trigger and retrieve images from diffusion models as a network service. The system distinguishes itself through a comprehensive task management layer that includes timeline-based prompt and parameter scheduling. It manages the generative art lifecycle by supporting state-based session serialization for recovery, YAML-based configuration mana

IsaacGymEnvs is a GPU-accelerated physics sandbox and robotics policy training suite designed for reinforcement learning. It serves as a vectorized robotic simulator that runs thousands of parallel environments on GPUs to accelerate the training of neural networks. The project provides a sim-to-real transfer framework that utilizes domain randomization and physics variations to ensure policies trained in simulation are robust enough for deployment on real hardware. It distinguishes itself through a high-performance architecture that uses tensor-based state management to handle observations an

RLinf is a distributed reinforcement learning orchestrator and embodied AI training framework. It provides the infrastructure to train vision-language-action models and robotic policies using a combination of reinforcement learning and supervised fine-tuning. The system is designed for scaling workloads across GPU clusters, managing the placement of actors, rollout workers, and environment components. It features a specialized robotics data collection pipeline for gathering teleoperated demonstrations and simulation trajectories into standardized replay buffers, alongside a hardware interface