Awesome GitHub RepositoriesDynamic Inference Batching

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

OpenChat est un framework pour l'entraînement, le fine-tuning et le déploiement de grands modèles de langage optimisés pour les tâches de raisonnement conversationnel et mathématique. Il fournit un cycle de vie complet pour ces modèles, allant des pipelines d'entraînement et des stacks de déploiement à une interface de chat web. Le projet se concentre sur l'activation d'une exécution de modèle haute performance sur du matériel grand public sans avoir besoin d'accélérateurs de classe entreprise. Il inclut un serveur d'inférence prêt pour la production qui implémente le protocole de complétion de chat OpenAI et utilise le batching dynamique des requêtes pour optimiser le débit matériel. Le système couvre l'ensemble du flux de travail opérationnel, y compris la tokenisation des jeux de données et le fine-tuning des modèles via un entraînement sans padding et l'apprentissage par renforcement. Il s'étend également à l'hébergement d'API avec authentification par clé et une interface graphique pour l'interaction humaine en temps réel.

fastllm est un ensemble de composants logiciels spécialisés pour la conversion de poids de modèles, les runtimes de type « Mixture-of-Experts » et le parallélisme de tenseurs. Il fournit un serveur API compatible OpenAI pour exposer les capacités des grands modèles de langage via un format de requête standardisé. Le projet dispose d'un framework de parallélisme de tenseurs qui divise les charges de travail computationnelles sur plusieurs GPU pour accélérer l'exécution. Il inclut un runtime dédié optimisé pour les architectures Mixture-of-Experts et un outil de quantification pour convertir les poids des modèles en formats de précision inférieure afin de réduire l'utilisation de la mémoire et d'augmenter le débit. Le système couvre des workflows de haut niveau pour l'inférence distribuée, incluant la gestion de la mémoire mappée sur les périphériques, le batching dynamique et l'exécution en mode mixte. Il fournit également une interface en ligne de commande et une interface utilisateur en terminal pour la gestion des modèles et la configuration du déploiement.

This project is a PyTorch implementation of the YOLOv4 object detection framework. It provides a system for training and deploying neural networks that identify and locate multiple objects within images and video streams. The framework includes tools for converting trained weights into universal formats and hardware-specific optimized engines, specifically supporting ONNX and TensorRT. It features a TensorRT inference optimizer to reduce latency and increase throughput, as well as a model architecture compatible with NVIDIA DeepStream streaming analytics pipelines. The system covers model tr

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

LitServe est un framework de serveur d'inférence IA Python et un framework de service LLM conçu pour l'inférence à haute concurrence. Il fonctionne comme un serveur de modèle IA distribué et un moteur d'inférence à traitement par lots dynamique, fournissant les outils pour construire et héberger des serveurs personnalisés qui exécutent des modèles IA. Le framework se distingue par une file d'attente de requêtes à traitement par lots dynamique qui regroupe les requêtes d'inférence individuelles en tenseurs uniques pour maximiser le débit GPU. Il prend en charge la mise à l'échelle GPU distribuée, permettant aux charges de travail des modèles d'être réparties sur plusieurs accélérateurs matériels pour équilibrer les charges de calcul et augmenter la capacité totale. Le système fournit une interface wrapper de haut niveau qui découple le prétraitement et le post-traitement des requêtes de la logique d'exécution du modèle principal. Il inclut également des capacités pour le streaming de modèles en temps réel afin de fournir des sorties de manière incrémentale et utilise une boucle d'événements asynchrone pour gérer les requêtes réseau concurrentes.