Awesome GitHub RepositoriesDynamic Inference Batching

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

OpenChat संवादात्मक और गणितीय तर्क कार्यों के लिए अनुकूलित लार्ज लैंग्वेज मॉडल के प्रशिक्षण, फाइन-ट्यूनिंग और परिनियोजन (deployment) के लिए एक फ्रेमवर्क है। यह इन मॉडलों के लिए एक व्यापक लाइफसाइकिल प्रदान करता है, जिसमें ट्रेनिंग पाइपलाइन और डिप्लॉयमेंट स्टैक से लेकर वेब-आधारित चैट इंटरफ़ेस तक शामिल है। यह प्रोजेक्ट एंटरप्राइज़-ग्रेड एक्सेलेरेटर की आवश्यकता के बिना उपभोक्ता-ग्रेड हार्डवेयर पर उच्च-प्रदर्शन मॉडल निष्पादन को सक्षम करने पर केंद्रित है। इसमें एक प्रोडक्शन-रेडी इन्फरेंस सर्वर शामिल है जो OpenAI चैट कंप्लीशन प्रोटोकॉल को लागू करता है और हार्डवेयर थ्रूपुट को ऑप्टिमाइज़ करने के लिए डायनामिक रिक्वेस्ट बैचिंग का उपयोग करता है। यह सिस्टम संपूर्ण परिचालन वर्कफ़्लो को कवर करता है, जिसमें पैडिंग-फ्री ट्रेनिंग और रीइन्फोर्समेंट लर्निंग के माध्यम से डेटासेट टोकनाइज़ेशन और मॉडल फाइन-ट्यूनिंग शामिल है। यह की-आधारित प्रमाणीकरण के साथ API होस्टिंग और वास्तविक समय मानवीय बातचीत के लिए एक ग्राफिकल यूजर इंटरफेस तक विस्तारित है।

fastllm is a set of specialized software components for model weight conversion, Mixture-of-Experts runtimes, and tensor parallelism. It provides an OpenAI compatible API server to expose large language model capabilities through a standardized request format. The project features a tensor parallelism framework that splits computational workloads across multiple GPUs to accelerate execution. It includes a dedicated runtime optimized for Mixture-of-Experts architectures and a quantization tool to convert model weights into lower precision formats to reduce memory usage and increase throughput.

यह प्रोजेक्ट YOLOv4 ऑब्जेक्ट डिटेक्शन फ्रेमवर्क का PyTorch इम्प्लीमेंटेशन है। यह न्यूरल नेटवर्क को प्रशिक्षित और डिप्लॉय करने के लिए एक सिस्टम प्रदान करता है जो छवियों और वीडियो स्ट्रीम के भीतर कई वस्तुओं की पहचान और पता लगाता है। फ्रेमवर्क में प्रशिक्षित वेट्स को यूनिवर्सल फॉर्मेट और हार्डवेयर-विशिष्ट अनुकूलित इंजनों में बदलने के लिए टूल्स शामिल हैं, जो विशेष रूप से ONNX और TensorRT का समर्थन करते हैं। इसमें लेटेंसी कम करने और थ्रूपुट बढ़ाने के लिए एक TensorRT इन्फरेंस ऑप्टिमाइज़र, और NVIDIA DeepStream स्ट्रीमिंग एनालिटिक्स पाइपलाइन के साथ संगत एक मॉडल आर्किटेक्चर शामिल है। यह सिस्टम मोज़ेक डेटा ऑगमेंटेशन के साथ मॉडल प्रशिक्षण को कवर करता है और कई इन्फरेंस इंजनों में रीयल-टाइम ऑब्जेक्ट डिटेक्शन का समर्थन करता है। यह TensorFlow में मॉडल रूपांतरण के लिए उपयोगिताएँ प्रदान करता है और डिप्लॉयमेंट के लिए स्टेटिक और डायनेमिक बैच कॉन्फ़िगरेशन दोनों का समर्थन करता है।

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

LitServe एक Python AI अनुमान सर्वर फ्रेमवर्क और LLM सर्विंग फ्रेमवर्क है जिसे उच्च-कॉनकरेंसी अनुमान के लिए डिज़ाइन किया गया है। यह एक वितरित AI मॉडल सर्वर और डायनामिक बैचिंग अनुमान इंजन के रूप में कार्य करता है, जो AI मॉडल चलाने वाले कस्टम सर्वर बनाने और होस्ट करने के लिए टूल प्रदान करता है। यह फ्रेमवर्क एक डायनामिक-बैचिंग रिक्वेस्ट कतार के माध्यम से खुद को अलग करता है जो GPU थ्रूपुट को अधिकतम करने के लिए व्यक्तिगत अनुमान अनुरोधों को एकल टेंसर में समूहित करता है। यह वितरित GPU स्केलिंग का समर्थन करता है, जिससे मॉडल वर्कलोड को कंप्यूट लोड को संतुलित करने और कुल क्षमता बढ़ाने के लिए कई हार्डवेयर एक्सेलेरेटर्स में फैलाया जा सकता है। सिस्टम एक उच्च-स्तरीय रैपर इंटरफ़ेस प्रदान करता है जो मुख्य मॉडल निष्पादन लॉजिक से अनुरोध प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग को अलग करता है। इसमें आउटपुट को क्रमिक रूप से डिलीवर करने के लिए रीयल-टाइम मॉडल स्ट्रीमिंग के लिए क्षमताएं भी शामिल हैं और समवर्ती नेटवर्क अनुरोधों को संभालने के लिए एक एसिंक्रोनस इवेंट लूप का उपयोग करता है।