Awesome GitHub RepositoriesModel Quantization Frameworks

vLLM is a high-throughput inference engine designed for the efficient serving and execution of large language models. It functions as a production-ready distributed model server, providing standard API protocols for online serving while also supporting offline batch processing. The system is built to maximize token generation speed and memory efficiency, enabling both large-scale cloud deployments and local execution on personal hardware. The project distinguishes itself through advanced memory management and request scheduling techniques, most notably its use of non-contiguous key-value cach

This project is a distributed training infrastructure designed for aligning large language models through reinforcement learning. It functions as an end-to-end engine for complex alignment tasks, including proximal policy optimization, direct preference optimization, and iterative self-play. By providing a unified framework for multi-turn interactions and tool-use scenarios, it enables the development of models capable of reasoning and external environment engagement. The framework distinguishes itself through a decoupled architecture that separates model training from sample generation. This

Burn is a deep learning framework designed for building, training, and deploying neural networks using a modular architecture. As a machine learning library built in Rust, it provides a backend-agnostic computational engine that enables the execution of models across diverse hardware, including central processors, graphics processors, and web runtimes. The framework distinguishes itself through a highly portable design that allows developers to maintain a single workflow for both training and inference across heterogeneous environments. It incorporates advanced optimization techniques such as

ggml is a low-level C++ tensor library and machine learning inference engine designed for performing mathematical operations on multi-dimensional arrays across diverse hardware platforms. It provides a foundational toolset for executing machine learning models and calculating mathematical gradients through an automatic differentiation library. The project features a quantized tensor framework that converts floating-point weights into integer representations to reduce memory usage and increase inference speed. It utilizes a custom binary format for model serialization to ensure rapid loading a

This project is a comprehensive toolkit designed for the full lifecycle management of large language and multimodal models. It functions as a unified orchestrator that handles the entire development process, ranging from dataset preparation and supervised fine-tuning to advanced reinforcement learning alignment and production-ready inference deployment. The platform distinguishes itself through a specialized reinforcement learning library that supports complex optimization algorithms, including group relative policy optimization and leave-one-out techniques, to improve model instruction-follo

PaddleDetection is an object detection framework designed for the end-to-end development, training, and deployment of computer vision models. It provides a comprehensive library of modular neural network architectures and pipelines that support object detection, instance segmentation, and multi-object tracking tasks. The project distinguishes itself through a configuration-driven approach that decouples model components like backbones and heads, allowing for the flexible assembly of custom vision workflows. It incorporates advanced techniques such as anchor-free detection logic, joint detecti

This project is a comprehensive technical reference and educational resource focused on the lifecycle of large language models. It provides structured learning materials that cover the foundational mechanics of transformer architectures, the mathematical principles of attention mechanisms, and the engineering practices required for modern generative artificial intelligence. The repository serves as a guide for both technical skill development and professional preparation, offering a curriculum that spans from model training and inference optimization to advanced alignment techniques. It detai

Axolotl is a configuration-driven framework designed for the fine-tuning, evaluation, and quantization of large language models. It functions as a comprehensive orchestrator for distributed training, enabling users to manage complex workflows across multi-node and multi-GPU environments. By utilizing structured configuration files, the platform streamlines the setup of training parameters, dataset paths, and hardware distribution strategies. The project distinguishes itself through its support for diverse training methodologies, including full-parameter tuning, parameter-efficient adaptation,

This project is a quantized fine-tuning framework for large language models. It implements a low-rank adaptation library and a four-bit quantizer to reduce the GPU memory requirements needed to train large models. The framework utilizes four-bit quantization and low-rank adapters to enable model training on consumer-grade hardware. It further reduces the memory footprint through double quantization and a paged optimizer that offloads states to system RAM. The system supports distributed training across multiple GPUs to handle larger parameter scales and includes utilities for custom dataset

gpt-fast es un motor de inferencia de transformadores de PyTorch diseñado para la generación de texto utilizando una implementación de librería de tensores nativa. Proporciona un runtime para ejecutar modelos de lenguaje grandes sin necesidad de extensiones externas en C++. El proyecto implementa decodificación especulativa para acelerar la generación utilizando un modelo borrador pequeño para la predicción de tokens y un modelo más grande para la verificación. Optimiza aún más el rendimiento a través de una etapa de pre-llenado compilada y una librería de paralelismo de tensores multi-GPU que fragmenta capas lineales a través de múltiples unidades de procesamiento gráfico. La eficiencia de la memoria se gestiona a través de un runtime cuantizado que soporta pesos int8 e int4 y cuantización de tensores agrupados. El sistema también incluye herramientas para la parametrización de arquitectura, tokenización de texto y evaluación de precisión de modelos utilizando arneses estandarizados.

llama-rs es un motor de inferencia de modelos de lenguaje de gran tamaño (LLM) local implementado en Rust. Permite la ejecución de cálculos de modelos en hardware local para generar respuestas de texto a partir de prompts de usuario. El proyecto utiliza operaciones de tensores basadas en Rust y mapeo de modelos en memoria directa para manejar álgebra lineal de alto rendimiento y carga eficiente de pesos. Incorpora cuantización de pesos para reducir la huella de memoria de los modelos convirtiendo pesos de alta precisión en formatos más pequeños. El sistema incluye una interfaz de línea de comandos para sesiones de chat interactivas y prompts únicos, junto con persistencia de sesión respaldada por archivos para guardar y restaurar historiales de conversación. También proporciona utilidades para recuperar configuraciones de tokenizadores desde hubs remotos y herramientas para calcular puntuaciones de perplejidad para evaluar el rendimiento del modelo.

h2o-llmstudio es un framework de entrenamiento de modelos de lenguaje que proporciona una interfaz gráfica sin código para ajustar (fine-tuning) modelos de lenguaje grandes en conjuntos de datos personalizados. Funciona como una herramienta especializada para gestionar el ciclo de vida del entrenamiento, desde la configuración de hiperparámetros hasta el monitoreo de métricas de rendimiento. El proyecto se distingue por un orquestador de entrenamiento multi-GPU que distribuye cargas de trabajo a través de procesamiento paralelo de datos y una herramienta de adaptación de bajo rango para un ajuste eficiente en memoria. También incluye un panel de evaluación de modelos con una interfaz de chat interactiva para verificar el rendimiento conversacional y la calidad de la respuesta. La plataforma cubre una amplia superficie de capacidad, incluyendo la preparación de conjuntos de datos con mapeo de esquemas, cuantización de modelos para reducir la huella de memoria y gestión de experimentos para comparar ejecuciones de entrenamiento. También proporciona utilidades para la exportación de modelos locales y la publicación en centros de modelos comunitarios. El sistema incluye una interfaz de línea de comandos para activar experimentos y gestionar archivos de salida dentro de flujos de trabajo automatizados.

fastllm es un conjunto de componentes de software especializados para la conversión de pesos de modelos, tiempos de ejecución de Mezcla de Expertos (MoE) y paralelismo de tensores. Proporciona un servidor API compatible con OpenAI para exponer las capacidades de los modelos de lenguaje de gran tamaño a través de un formato de solicitud estandarizado. El proyecto cuenta con un framework de paralelismo de tensores que divide las cargas de trabajo computacionales entre múltiples GPU para acelerar la ejecución. Incluye un tiempo de ejecución dedicado optimizado para arquitecturas de Mezcla de Expertos y una herramienta de cuantización para convertir los pesos del modelo a formatos de menor precisión para reducir el uso de memoria y aumentar el rendimiento. El sistema cubre flujos de trabajo de alto nivel para la inferencia distribuida, incluyendo la gestión de memoria mapeada por dispositivo, procesamiento por lotes dinámico y ejecución en modo mixto. También proporciona una interfaz de línea de comandos y una interfaz de usuario basada en terminal para la gestión de modelos y la configuración del despliegue.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

Doctor-Dignity is a privacy-preserving medical AI framework designed to execute large language models and diagnostic reasoning tasks locally on edge hardware. It provides a local inference engine and retrieval augmented generation implementation that ensures sensitive health data remains offline by removing dependencies on external cloud servers and internet connectivity. The project includes a medical fine-tuning framework for adapting base language models to specialized clinical domains using parameter-efficient methods. To enable execution on resource-constrained and mobile devices, it pro

llm-compressor is a quantization toolkit and post-training library designed to reduce the memory footprint and size of large language models. It provides a framework for compressing models using weight and activation quantization to enable more efficient deployment. The project distinguishes itself through a distributed quantization framework that utilizes data-parallel processing and disk-based weight offloading to handle massive model checkpoints that exceed available system memory. It includes specialized compressors for diverse architectures, including Mixture-of-Experts, Vision-Language,

Este framework proporciona un toolkit para el ajuste fino (fine-tuning) de modelos de lenguaje de gran tamaño combinando paralelismo de datos distribuido con técnicas de fragmentación de parámetros y cuantización. Está diseñado para escalar el entrenamiento de redes neuronales masivas a través de múltiples procesadores gráficos, permitiendo la ejecución de modelos que exceden la capacidad de memoria de unidades de hardware individuales. La librería se distingue por integrar la adaptación de bajo rango (LoRA) con carga de pesos eficiente en memoria y fragmentación de parámetros consciente de la cuantización. Al inicializar los pesos del modelo directamente en el procesador gráfico y aplicar un envoltorio granular por capas, el framework minimiza los picos de memoria y reduce la sobrecarga de comunicación durante las fases de configuración y entrenamiento distribuido. El sistema admite el entrenamiento de arquitecturas transformer personalizadas a través de políticas de envoltorio flexibles para capas de atención y perceptrón multicapa. Además, optimiza el uso de recursos ajustando dinámicamente la precisión numérica durante el cálculo, equilibrando la estabilidad del entrenamiento frente a la memoria de hardware disponible. El proyecto se distribuye como una colección de utilidades y scripts destinados a su uso en entornos de computación distribuida.