Awesome GitHub RepositoriesDistributed Inference Engines

Exo is a distributed inference engine designed to run machine learning models across local hardware. It functions as a network orchestration layer that automatically discovers available devices to form a unified computing cluster, allowing users to scale artificial intelligence workloads by distributing computational tasks across multiple machines. The platform distinguishes itself through its ability to manage the entire lifecycle of local models while providing a standardized gateway for external applications. By translating local model outputs into industry-standard formats, it enables exi

Sglang is a high-performance inference engine and serving system designed for large language and multimodal models. It provides a programmable interface for orchestrating complex generation workflows, enabling developers to coordinate multi-turn dialogues, tool invocations, and reasoning chains through a domain-specific language. The platform is built to support production-scale deployments, offering an OpenAI-compatible API that allows for integration with existing application ecosystems. The system distinguishes itself through a disaggregated architecture that separates compute-intensive pr

Text Generation Inference is a production-ready engine designed for the deployment and serving of large language models. It functions as a containerized runtime environment that manages model execution, scales across distributed hardware, and provides high-performance inference capabilities for demanding production environments. The project distinguishes itself through advanced optimization techniques, including continuous batching to maximize hardware utilization and tensor parallelism to shard large models across multiple accelerator cards. It supports efficient inference through custom com

Petals is a decentralized framework and inference engine for running large language models across a peer-to-peer network. It enables the execution of models that exceed the memory of any single machine by splitting computations and model layers across a collaborative swarm of GPUs. The system functions as a collaborative compute network where participants share local GPU resources and host model weights. It supports distributed prompt-tuning to adapt massive models to specific tasks and allows for the establishment of private compute swarms to process sensitive data within restricted, trusted

OpenRLHF is a training framework and alignment library designed for reinforcement learning from human feedback across distributed GPU clusters. It provides tools for aligning large language models and multimodal vision-language models using algorithms such as PPO, GRPO, and DPO. The framework distinguishes itself through a distributed inference engine that overlaps sample rollout with training to increase throughput. It supports scaling to models exceeding 70 billion parameters via parameter sharding and handles long-context sequences through ring-attention sequence parallelism. The project

BigDL एक PyTorch एक्सेलेरेशन फ्रेमवर्क और डिस्ट्रीब्यूटेड इन्फरेंस इंजन है जिसे लार्ज लैंग्वेज मॉडल्स के लिए डिज़ाइन किया गया है। यह Intel हार्डवेयर पर मॉडल्स चलाने के लिए एक टूलकिट प्रदान करता है, जिसमें क्वांटाइज़ेशन टूल्स और पैरामीटर-कुशल फाइन-ट्यूनिंग के लिए लाइब्रेरीज़ शामिल हैं। यह प्रोजेक्ट कई हार्डवेयर एक्सेलेरेटर्स में मॉडल वर्कलोड को वितरित करने के लिए पाइपलाइन पैरेललिज़्म के उपयोग के माध्यम से खुद को अलग बनाता है। यह मेमोरी फुटप्रिंट को कम करने और टेक्स्ट जनरेशन लेटेंसी को घटाने के लिए लो-बिट इंटीजर क्वांटाइज़ेशन और सट्टा डिकोडिंग (speculative decoding) का उपयोग करता है। यह सिस्टम मॉडल ऑप्टिमाइज़ेशन में व्यापक क्षमताओं को कवर करता है, जिसमें वेट कम्प्रेशन और क्वांटाइज़्ड मॉडल लोडिंग शामिल है। यह प्री-ट्रेंड मॉडल्स को विशिष्ट कार्यों के अनुकूल बनाने के लिए हार्डवेयर-एक्सेलेरेटेड ट्रेनिंग रूटीन को भी सपोर्ट करता है।

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

ipex-llm is an acceleration library and inference engine designed to optimize the execution and finetuning of large language models on Intel GPUs and NPUs. It provides a HuggingFace compatible model backend and a dedicated quantization toolkit for converting model weights into low-bit precision formats. The project facilitates distributed inference by splitting large model workloads across multiple accelerators using pipeline and tensor parallelism. It enables the deployment of models on Intel Arc, Flex, and Max GPUs to increase throughput and reduce latency. The library covers a broad range

PowerInfer is a high-performance local large language model inference engine and sparse inference framework. It provides a runtime for executing models on consumer-grade hardware, utilizing a GPU acceleration backend to optimize tensor operations for graphics processors. The system distinguishes itself through a sparse inference framework that increases generation speed by skipping computations based on activation sparsity in model weights. It includes a GGUF model converter for transforming weights and metadata into a unified binary format, as well as an OpenAI API compatible server for inte

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

SynapseML एक Apache Spark मशीन लर्निंग लाइब्रेरी है जिसे वितरित क्लस्टर में मशीन लर्निंग वर्कफ़्लो और डेटा पाइपलाइनों के निर्माण और स्केलिंग के लिए डिज़ाइन किया गया है। यह बड़े पैमाने पर डेटासेट पर हार्डवेयर-त्वरित भविष्यवाणियों और डीप लर्निंग कार्यों को निष्पादित करने के लिए एक वितरित मशीन लर्निंग पाइपलाइन फ्रेमवर्क और एक वितरित अनुमान इंजन के रूप में कार्य करता है। यह प्रोजेक्ट एक क्लाउड AI एकीकरण परत के रूप में कार्य करता है, जो उपयोगकर्ताओं को वितरित पाइपलाइनों के भीतर टेक्स्ट, विज़न और स्पीच के लिए पूर्व-प्रशिक्षित कृत्रिम बुद्धिमत्ता सेवाओं को लागू करने की अनुमति देता है। इसमें उच्च-आयामी डेटा में मल्टीवेरिएट और टाइम-सीरीज़ आउटलेर्स की पहचान करने के लिए वितरित विसंगति पहचान के लिए उपकरणों का एक समर्पित सूट भी शामिल है। लाइब्रेरी क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है, जिसमें चेहरा और छवि विश्लेषण के लिए वितरित कंप्यूटर विज़न, टेक्स्ट एनालिटिक्स और अनुवाद के लिए स्केलेबल नेचुरल लैंग्वेज प्रोसेसिंग, और ग्रेडिएंट बूस्टेड डिसीजन ट्री का प्रशिक्षण शामिल है। यह k-निकटतम पड़ोसी मॉडलिंग के माध्यम से समानता खोज, फ़ीचर एट्रिब्यूशन के माध्यम से मॉडल व्याख्यात्मकता और रीइन्फोर्समेंट लर्निंग वर्कफ़्लो के ऑर्केस्ट्रेशन के लिए उपकरण प्रदान करती है। सिस्टम एक कंपोज़ेबल पाइपलाइन आर्किटेक्चर का उपयोग करता है और क्रॉस-प्लेटफ़ॉर्म संगतता के लिए ONNX-आधारित मॉडल अनुमान का समर्थन करता है।

fastllm is a set of specialized software components for model weight conversion, Mixture-of-Experts runtimes, and tensor parallelism. It provides an OpenAI compatible API server to expose large language model capabilities through a standardized request format. The project features a tensor parallelism framework that splits computational workloads across multiple GPUs to accelerate execution. It includes a dedicated runtime optimized for Mixture-of-Experts architectures and a quantization tool to convert model weights into lower precision formats to reduce memory usage and increase throughput.

TensorFlowOnSpark is a distributed framework for running TensorFlow machine learning workloads and model training across Apache Spark clusters. It functions as a cluster computing orchestrator that manages worker processes and resource allocation to scale deep learning tasks across multiple computing nodes. The platform enables distributed deep learning training and large-scale model inference, allowing users to execute tasks across a cluster of servers to handle datasets that exceed the memory of a single machine. It integrates deep learning workloads with Spark data processing to create end

Mochi is an open-source text-to-video diffusion model designed to synthesize high-fidelity video sequences from natural language prompts. It utilizes a diffusion transformer architecture to generate temporal video data. The project includes a framework for low-rank adaptation, allowing the model to be fine-tuned on custom datasets to specialize visual styles or specific subjects. It also features a distributed inference engine that spreads model workloads across multiple graphics cards to increase memory capacity and processing speed. The system covers programmable video generation through a

Distributed-llama is a distributed inference engine and command line tool for running large language models across multiple networked machines. It functions as a compute cluster manager that coordinates worker nodes to share the computational load of a single model. The system utilizes tensor parallelism to shard model weights across different hosts, allowing the execution of models that exceed the memory capacity of a single piece of hardware. It includes a dedicated format converter to transform standard model files into a compatible binary layout optimized for distributed loading. The eng

Serving मशीन लर्निंग मॉडल को प्रोडक्शन सेवाओं के रूप में डिप्लॉय और स्केल करने के लिए डिज़ाइन किया गया एक उच्च-प्रदर्शन फ्रेमवर्क है। यह एक वितरित इन्फरेंस इंजन के रूप में कार्य करता है जो कई मॉडलों को निर्देशित एसाइक्लिक ग्राफ़ में जोड़कर जटिल डेटा प्रोसेसिंग वर्कफ़्लो के निष्पादन को सक्षम बनाता है। यह प्लेटफ़ॉर्म प्रोडक्शन मॉडल लाइफसाइकिल को प्रबंधित करने की अपनी क्षमता के माध्यम से खुद को अलग बनाता है, जो हॉट-स्वैपेबल वर्ज़निंग की अनुमति देता है जो डाउनटाइम के बिना सेवाओं को अपडेट करता है। यह वितरित मॉडल शार्डिंग के माध्यम से क्षैतिज स्केलिंग का समर्थन करता है और विशेष स्पार्स पैरामीटर लुकअप संरचनाओं के माध्यम से उच्च-आयामी डेटा पुनर्प्राप्ति को ऑप्टिमाइज़ करता है। सिस्टम प्रोडक्शन वातावरण के लिए क्षमताओं का एक व्यापक सूट प्रदान करता है, जिसमें हार्डवेयर-त्वरित इन्फरेंस निष्पादन, बहु-भाषा रिमोट प्रोसीजर कॉल इंटरफ़ेस और एकीकृत सेवा निगरानी शामिल है। यह मॉडल डिप्लॉयमेंट की सुरक्षा के लिए अनुरोध प्रमाणीकरण और एन्क्रिप्टेड संचार चैनलों जैसी सुरक्षा सुविधाएँ भी शामिल करता है।