Awesome GitHub RepositoriesDynamic Inference Batching

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

OpenChat es un framework para el entrenamiento, ajuste fino (fine-tuning) y despliegue de modelos de lenguaje de gran tamaño optimizados para tareas de razonamiento conversacional y matemático. Proporciona un ciclo de vida completo para estos modelos, desde pipelines de entrenamiento y stacks de despliegue hasta una interfaz de chat basada en web. El proyecto se centra en permitir la ejecución de modelos de alto rendimiento en hardware de consumo sin necesidad de aceleradores de nivel empresarial. Incluye un servidor de inferencia listo para producción que implementa el protocolo de chat completion de OpenAI y utiliza el procesamiento por lotes dinámico (dynamic batching) para optimizar el rendimiento del hardware. El sistema cubre todo el flujo de trabajo operativo, incluyendo la tokenización de datasets y el ajuste fino de modelos mediante entrenamiento sin padding y aprendizaje por refuerzo. Se extiende además al alojamiento de API con autenticación basada en claves y una interfaz gráfica de usuario para la interacción humana en tiempo real.

fastllm es un conjunto de componentes de software especializados para la conversión de pesos de modelos, tiempos de ejecución de Mezcla de Expertos (MoE) y paralelismo de tensores. Proporciona un servidor API compatible con OpenAI para exponer las capacidades de los modelos de lenguaje de gran tamaño a través de un formato de solicitud estandarizado. El proyecto cuenta con un framework de paralelismo de tensores que divide las cargas de trabajo computacionales entre múltiples GPU para acelerar la ejecución. Incluye un tiempo de ejecución dedicado optimizado para arquitecturas de Mezcla de Expertos y una herramienta de cuantización para convertir los pesos del modelo a formatos de menor precisión para reducir el uso de memoria y aumentar el rendimiento. El sistema cubre flujos de trabajo de alto nivel para la inferencia distribuida, incluyendo la gestión de memoria mapeada por dispositivo, procesamiento por lotes dinámico y ejecución en modo mixto. También proporciona una interfaz de línea de comandos y una interfaz de usuario basada en terminal para la gestión de modelos y la configuración del despliegue.

Este proyecto es una implementación en PyTorch del framework de detección de objetos YOLOv4. Proporciona un sistema para entrenar y desplegar redes neuronales que identifican y localizan múltiples objetos dentro de imágenes y flujos de video. El framework incluye herramientas para convertir pesos entrenados en formatos universales y motores optimizados específicos para hardware, soportando específicamente ONNX y TensorRT. Cuenta con un optimizador de inferencia TensorRT para reducir la latencia y aumentar el rendimiento, así como una arquitectura de modelo compatible con los pipelines de análisis de streaming NVIDIA DeepStream. El sistema cubre el entrenamiento de modelos con aumento de datos tipo mosaico y soporta detección de objetos en tiempo real a través de múltiples motores de inferencia. Proporciona utilidades para la conversión de modelos a TensorFlow y soporta configuraciones de batch tanto estáticas como dinámicas para el despliegue.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

LitServe is a Python AI inference server framework and LLM serving framework designed for high-concurrency inference. It functions as a distributed AI model server and dynamic batching inference engine, providing the tools to build and host custom servers that run AI models. The framework distinguishes itself through a dynamic-batching request queue that groups individual inference requests into single tensors to maximize GPU throughput. It supports distributed GPU scaling, allowing model workloads to be spread across multiple hardware accelerators to balance compute loads and increase total