Awesome GitHub RepositoriesLow-Bit Weight Quantization

FlexLLMGen is an inference engine and runtime designed to run large language models on a single GPU by combining weight compression with tensor offloading. It reduces model weight memory usage by approximately 70% through 4-bit quantization, and stores model parameters, attention cache, and hidden states across GPU, CPU, and disk to fit models larger than available GPU memory. The project distinguishes itself through a throughput-oriented batching approach that processes multiple generation requests together in large batches to maximize throughput on a single GPU. It also supports distributed

BigDL es un framework de aceleración de PyTorch y motor de inferencia distribuida diseñado para grandes modelos de lenguaje. Proporciona un kit de herramientas para ejecutar modelos en hardware Intel, integrando herramientas de cuantización y librerías para el ajuste fino eficiente en parámetros. El proyecto se distingue por el uso de paralelismo de pipeline para distribuir cargas de trabajo de modelos a través de múltiples aceleradores de hardware. Utiliza cuantización de enteros de bajo bit y decodificación especulativa para reducir la huella de memoria y disminuir la latencia de generación de texto. El sistema cubre amplias capacidades en optimización de modelos, incluyendo compresión de pesos y carga de modelos cuantizados. También admite rutinas de entrenamiento aceleradas por hardware para adaptar modelos preentrenados a tareas específicas.

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

Yi is a bilingual language model and foundation model designed for natural language processing, reasoning, and reading comprehension in both English and Chinese. It is built as a transformer-based architecture capable of general purpose text generation and conversational tasks. The model is distinguished by its ability to function as a long context system, processing and analyzing extended input sequences up to 200k tokens. It also supports quantized versions that use low-bit precision to reduce memory footprints, enabling execution on consumer-grade hardware. The project covers a broad rang

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Lit-llama es un framework de implementación basado en PyTorch para el modelo de lenguaje LLaMA, que proporciona un sistema para pre-entrenamiento, ajuste fino e inferencia de alto rendimiento. Incluye un pipeline de pre-entrenamiento para crear modelos de lenguaje fundamentales desde cero y herramientas para ejecutar pesos pre-entrenados para generar texto natural y predecir secuencias. El proyecto proporciona toolkits especializados para el ajuste fino eficiente en parámetros utilizando adaptación de bajo rango (LoRA) y adaptadores ligeros. También incluye una librería de cuantización que reduce las huellas de memoria del modelo a través de precisión de cuatro y ocho bits para permitir la ejecución en hardware con recursos limitados. El framework incorpora un diseño de transformador simplificado y emplea flash attention para optimizar la memoria y la velocidad. Además, gestiona datasets a gran escala a través de formatos de datos en streaming para evitar cargar corpora completos en la memoria del sistema.

ACE Step 1.5 is a local text-to-music generation and audio editing system that runs on consumer hardware. It transforms plain-language descriptions into full-length songs with lyrics, and can edit existing audio through cover generation, vocal removal, track separation, and selective repainting. The system supports multilingual prompts and lyrics in over 50 languages, and provides precise control over musical structure including duration, BPM, key, and time signature. The project distinguishes itself through a dual-stream diffusion architecture that processes separate latent streams for vocal

Baichuan-7B is an open-source 7 billion parameter bilingual Transformer model designed for text generation and few-shot learning across Chinese and English. It is built on a large Transformer architecture trained on a bilingual corpus, enabling it to produce coherent text in both languages from a single model. The model incorporates several optimization techniques that distinguish it from standard large language models. It uses rotary position embeddings that can extrapolate to longer sequences than seen during training, allowing context extension beyond the original 4096-token training lengt

AutoGPTQ es un framework de compresión de modelos diseñado para reducir la huella de memoria y aumentar la velocidad de inferencia de modelos de lenguaje grandes (LLM). Utiliza el algoritmo GPTQ para comprimir los pesos del modelo, permitiendo que estos modelos se ejecuten en hardware con VRAM limitada. El kit de herramientas proporciona una tubería de cuantización de arquitectura que admite la integración de clases de modelos personalizados para diversas arquitecturas de redes neuronales. Incluye un motor de inferencia de precisión mixta con kernels optimizados para acelerar la multiplicación de matrices durante el despliegue. El framework cubre el flujo de trabajo completo de compresión de pesos, desde la calibración y cuantización hasta la evaluación de precisión posterior. Estas herramientas miden la pérdida de rendimiento comparando la salida de los modelos cuantizados contra los pesos originales en tareas de referencia.

AutoGPTQ es un kit de herramientas de compresión de modelos y un framework de cuantización post-entrenamiento diseñado para reducir la huella de memoria de modelos de lenguaje grandes. Utiliza el algoritmo GPTQ para comprimir los pesos de las redes neuronales, reduciendo los requisitos de hardware y el uso de VRAM. El proyecto sirve como un acelerador de inferencia al proporcionar kernels optimizados que aumentan la velocidad de generación de tokens. Cuenta con extensibilidad de arquitectura de modelo, permitiendo que las capacidades de cuantización se añadan a nuevas estructuras de modelos mediante patrones configurables. El framework cubre una tubería de cuantización integral, incluyendo compresión de pesos por capa, estimación de escala basada en calibración y mapeo de memoria específico de precisión. También incluye sistemas para la evaluación del rendimiento del modelo para medir el impacto de la cuantización en la precisión en tareas de lenguaje y resumen.

SakuraLLM is a multi-format document translation system that hosts large language models for translating Japanese text into other languages. It functions as an inference server that exposes translation models through an OpenAI-compatible API, allowing any tool supporting the OpenAI client format to send translation requests. The system is designed as a glossary-aware translation engine that applies user-defined term dictionaries to ensure consistent translation of proper nouns and names across outputs. The project distinguishes itself by supporting multiple high-performance inference backends

Baichuan2 es una colección de modelos de lenguaje grandes pre-entrenados, incluyendo variantes base y de chat, diseñados para la generación de lenguaje natural y la IA conversacional multi-turno. Proporciona un motor de inferencia y un framework de ajuste fino (fine-tuning) para adaptar estos modelos a datasets personalizados y dominios especializados. El proyecto cuenta con un kit de herramientas de cuantización y un motor de inferencia que permiten la ejecución del modelo en hardware diverso, incluyendo procesadores gráficos, procesadores centrales y aceleradores especializados. Estas herramientas admiten la cuantización de pesos de bajo bit para reducir el uso de memoria y aumentar la velocidad de inferencia en hardware limitado. El sistema cubre una amplia gama de capacidades, incluyendo entrenamiento distribuido en múltiples máquinas, ajuste fino eficiente en parámetros y alineación supervisada para la interacción humana. También incluye utilidades para la conversión de versiones de modelos y proporciona interfaces conversacionales a través de herramientas de línea de comandos o demostraciones basadas en web.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde