Awesome GitHub RepositoriesDynamic Inference Batching

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

OpenChat هو إطار عمل لتدريب وضبط ونشر نماذج اللغات الكبيرة المحسنة لمهام المحادثة والاستدلال الرياضي. يوفر دورة حياة شاملة لهذه النماذج، بدءاً من خطوط أنابيب التدريب ومكدسات النشر وصولاً إلى واجهة محادثة قائمة على الويب. يركز المشروع على تمكين تنفيذ النماذج عالية الأداء على أجهزة المستهلكين دون الحاجة إلى مسرعات على مستوى المؤسسات. يتضمن خادم استنتاج جاهز للإنتاج ينفذ بروتوكول إكمال المحادثة الخاص بـ OpenAI ويستخدم تجميع الطلبات الديناميكي لتحسين إنتاجية الأجهزة. يغطي النظام سير العمل التشغيلي بالكامل، بما في ذلك ترميز مجموعات البيانات (tokenization) وضبط النماذج عبر التدريب الخالي من الحشو (padding-free) والتعلم التعزيزي. كما يمتد إلى استضافة API مع مصادقة قائمة على المفاتيح وواجهة رسومية للتفاعل البشري في الوقت الفعلي.

fastllm is a set of specialized software components for model weight conversion, Mixture-of-Experts runtimes, and tensor parallelism. It provides an OpenAI compatible API server to expose large language model capabilities through a standardized request format. The project features a tensor parallelism framework that splits computational workloads across multiple GPUs to accelerate execution. It includes a dedicated runtime optimized for Mixture-of-Experts architectures and a quantization tool to convert model weights into lower precision formats to reduce memory usage and increase throughput.

هذا المشروع هو تنفيذ PyTorch لإطار عمل اكتشاف الكائنات YOLOv4. يوفر نظاماً لتدريب ونشر الشبكات العصبية التي تحدد وتحدد مواقع كائنات متعددة داخل الصور وتدفقات الفيديو. يتضمن إطار العمل أدوات لتحويل الأوزان المدربة إلى تنسيقات عالمية ومحركات محسنة خاصة بالأجهزة، مع دعم محدد لـ ONNX وTensorRT. يتميز بمحسن استنتاج TensorRT لتقليل زمن الوصول وزيادة الإنتاجية، بالإضافة إلى بنية نموذج متوافقة مع خطوط أنابيب تحليلات البث NVIDIA DeepStream. يغطي النظام تدريب النموذج مع زيادة بيانات الفسيفساء (Mosaic) ويدعم اكتشاف الكائنات في الوقت الفعلي عبر محركات استنتاج متعددة. يوفر أدوات لتحويل النموذج إلى TensorFlow ويدعم تكوينات الدفعات الثابتة والديناميكية للنشر.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

LitServe هو إطار عمل لخادم استدلال الذكاء الاصطناعي بلغة Python وإطار عمل لخدمة النماذج اللغوية الكبيرة (LLM) مصمم للاستدلال عالي التزامن. يعمل كخادم نماذج ذكاء اصطناعي موزع ومحرك استدلال مجمع ديناميكياً، مما يوفر الأدوات لبناء واستضافة خوادم مخصصة تشغل نماذج الذكاء الاصطناعي. يتميز إطار العمل بطابور طلبات مجمع ديناميكياً يجمع طلبات الاستدلال الفردية في موترات (tensors) واحدة لزيادة إنتاجية GPU. يدعم توسيع نطاق GPU الموزع، مما يسمح بتوزيع أعباء عمل النماذج عبر مسرعات أجهزة متعددة لموازنة أحمال الحوسبة وزيادة السعة الإجمالية. يوفر النظام واجهة غلاف عالية المستوى تفصل المعالجة المسبقة للطلب والمعالجة اللاحقة عن منطق تنفيذ النموذج الأساسي. كما يتضمن إمكانات لبث النماذج في الوقت الفعلي لتقديم المخرجات بشكل تزايدي ويستخدم حلقة أحداث غير متزامنة للتعامل مع طلبات الشبكة المتزامنة.