Awesome GitHub RepositoriesDynamic Inference Batching

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

OpenChat este un framework pentru antrenarea, fine-tuning-ul și deployment-ul modelelor lingvistice mari optimizate pentru sarcini de raționament conversațional și matematic. Oferă un ciclu de viață complet pentru aceste modele, variind de la pipeline-uri de antrenare și stack-uri de deployment până la o interfață de chat web. Proiectul se concentrează pe permiterea execuției modelelor de înaltă performanță pe hardware de consum, fără a fi nevoie de acceleratoare de nivel enterprise. Include un server de inferență gata de producție care implementează protocolul OpenAI chat completion și utilizează batching-ul dinamic al cererilor pentru a optimiza throughput-ul hardware. Sistemul acoperă întregul flux de lucru operațional, inclusiv tokenizarea seturilor de date și fine-tuning-ul modelelor prin antrenare fără padding și învățare prin consolidare (reinforcement learning). Se extinde, de asemenea, la găzduirea API-urilor cu autentificare bazată pe chei și o interfață grafică pentru interacțiunea umană în timp real.

fastllm is a set of specialized software components for model weight conversion, Mixture-of-Experts runtimes, and tensor parallelism. It provides an OpenAI compatible API server to expose large language model capabilities through a standardized request format. The project features a tensor parallelism framework that splits computational workloads across multiple GPUs to accelerate execution. It includes a dedicated runtime optimized for Mixture-of-Experts architectures and a quantization tool to convert model weights into lower precision formats to reduce memory usage and increase throughput.

Acest proiect este o implementare PyTorch a framework-ului de detecție a obiectelor YOLOv4. Acesta oferă un sistem pentru antrenarea și implementarea rețelelor neuronale care identifică și localizează obiecte multiple în imagini și fluxuri video. Framework-ul include instrumente pentru conversia ponderilor antrenate în formate universale și motoare optimizate specifice hardware-ului, suportând în mod specific ONNX și TensorRT. Dispune de un optimizator de inferență TensorRT pentru a reduce latența și a crește throughput-ul, precum și o arhitectură de model compatibilă cu pipeline-urile de analiză streaming NVIDIA DeepStream. Sistemul acoperă antrenarea modelelor cu augmentarea datelor de tip mosaic și suportă detecția obiectelor în timp real pe mai multe motoare de inferență. Oferă utilitare pentru conversia modelelor în TensorFlow și suportă configurații de batch statice și dinamice pentru deployment.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

LitServe este un framework Python pentru servere de inferență AI și un framework de servire LLM conceput pentru inferență de înaltă concurență. Funcționează ca un server de model AI distribuit și un motor de inferență cu batching dinamic, oferind instrumentele necesare pentru a construi și găzdui servere personalizate care rulează modele AI. Framework-ul se distinge printr-o coadă de cereri cu batching dinamic care grupează cererile individuale de inferență în tensori unici pentru a maximiza throughput-ul GPU. Suportă scalarea GPU distribuită, permițând sarcinilor de lucru ale modelelor să fie distribuite pe mai multe acceleratoare hardware pentru a echilibra sarcinile de calcul și a crește capacitatea totală. Sistemul oferă o interfață wrapper de nivel înalt care decuplează preprocesarea și postprocesarea cererilor de logica de bază de execuție a modelului. Include, de asemenea, capabilități pentru streaming-ul modelelor în timp real pentru a livra output-uri incremental și utilizează o buclă de evenimente asincronă pentru a gestiona cererile de rețea concurente.