Awesome GitHub RepositoriesLow-Bit Weight Quantization

FlexLLMGen is an inference engine and runtime designed to run large language models on a single GPU by combining weight compression with tensor offloading. It reduces model weight memory usage by approximately 70% through 4-bit quantization, and stores model parameters, attention cache, and hidden states across GPU, CPU, and disk to fit models larger than available GPU memory. The project distinguishes itself through a throughput-oriented batching approach that processes multiple generation requests together in large batches to maximize throughput on a single GPU. It also supports distributed

BigDL est un framework d'accélération PyTorch et un moteur d'inférence distribué conçu pour les grands modèles de langage. Il fournit une boîte à outils pour exécuter des modèles sur du matériel Intel, intégrant des outils de quantification et des bibliothèques pour le fine-tuning efficace en paramètres. Le projet se distingue par l'utilisation du parallélisme de pipeline pour distribuer les charges de travail des modèles sur plusieurs accélérateurs matériels. Il utilise la quantification entière à faible bit et le décodage spéculatif pour réduire l'empreinte mémoire et diminuer la latence de génération de texte. Le système couvre de larges capacités en optimisation de modèles, incluant la compression de poids et le chargement de modèles quantifiés. Il prend également en charge des routines d'entraînement accélérées par le matériel pour adapter les modèles pré-entraînés à des tâches spécifiques.

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

Yi is a bilingual language model and foundation model designed for natural language processing, reasoning, and reading comprehension in both English and Chinese. It is built as a transformer-based architecture capable of general purpose text generation and conversational tasks. The model is distinguished by its ability to function as a long context system, processing and analyzing extended input sequences up to 200k tokens. It also supports quantized versions that use low-bit precision to reduce memory footprints, enabling execution on consumer-grade hardware. The project covers a broad rang

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Lit-llama est un framework d'implémentation basé sur PyTorch pour le modèle de langage LLaMA, fournissant un système pour le pré-entraînement, l'ajustement (fine-tuning) et l'inférence haute performance. Il inclut un pipeline de pré-entraînement pour créer des modèles de langage fondamentaux à partir de zéro et des outils pour exécuter des poids pré-entraînés afin de générer du texte naturel et prédire des séquences. Le projet fournit des toolkits spécialisés pour l'ajustement efficace en paramètres utilisant l'adaptation de bas rang (LoRA) et des adaptateurs légers. Il inclut également une bibliothèque de quantification qui réduit l'empreinte mémoire des modèles via une précision de quatre et huit bits pour permettre l'exécution sur du matériel aux ressources limitées. Le framework intègre une conception de transformateur simplifiée et emploie l'attention flash pour optimiser la mémoire et la vitesse. Il gère en outre des jeux de données à grande échelle via des formats de données en streaming pour éviter de charger des corpus entiers dans la mémoire système.

ACE Step 1.5 is a local text-to-music generation and audio editing system that runs on consumer hardware. It transforms plain-language descriptions into full-length songs with lyrics, and can edit existing audio through cover generation, vocal removal, track separation, and selective repainting. The system supports multilingual prompts and lyrics in over 50 languages, and provides precise control over musical structure including duration, BPM, key, and time signature. The project distinguishes itself through a dual-stream diffusion architecture that processes separate latent streams for vocal

Baichuan-7B is an open-source 7 billion parameter bilingual Transformer model designed for text generation and few-shot learning across Chinese and English. It is built on a large Transformer architecture trained on a bilingual corpus, enabling it to produce coherent text in both languages from a single model. The model incorporates several optimization techniques that distinguish it from standard large language models. It uses rotary position embeddings that can extrapolate to longer sequences than seen during training, allowing context extension beyond the original 4096-token training lengt

AutoGPTQ est un framework de compression de modèles conçu pour réduire l'empreinte mémoire et augmenter la vitesse d'inférence des grands modèles de langage (LLM). Il utilise l'algorithme GPTQ pour compresser les poids du modèle, permettant à ces modèles de tourner sur du matériel avec une VRAM limitée. Le toolkit fournit un pipeline de quantification d'architecture qui supporte l'intégration de classes de modèles personnalisées pour diverses architectures de réseaux de neurones. Il inclut un moteur d'inférence en précision mixte avec des noyaux optimisés pour accélérer la multiplication matricielle pendant le déploiement. Le framework couvre le workflow complet de compression de poids, de la calibration et la quantification à l'évaluation de la précision en aval. Ces outils mesurent la perte de performance en comparant la sortie des modèles quantifiés par rapport aux poids originaux sur des tâches de benchmark.

AutoGPTQ est un toolkit de compression de modèles et un framework de quantification post-entraînement conçu pour réduire l'empreinte mémoire des grands modèles de langage. Il utilise l'algorithme GPTQ pour compresser les poids des réseaux de neurones, abaissant les exigences matérielles et réduisant l'utilisation de la VRAM. Le projet sert d'accélérateur d'inférence en fournissant des noyaux optimisés qui augmentent la vitesse de génération de tokens. Il propose une extensibilité de l'architecture des modèles, permettant d'ajouter des capacités de quantification à de nouvelles structures de modèles via des modèles configurables. Le framework couvre un pipeline de quantification complet, incluant la compression de poids couche par couche, l'estimation d'échelle basée sur la calibration et le mappage mémoire spécifique à la précision. Il inclut également des systèmes pour l'évaluation de la performance des modèles afin de mesurer l'impact de la quantification sur la précision à travers des tâches de langage et de résumé.

SakuraLLM is a multi-format document translation system that hosts large language models for translating Japanese text into other languages. It functions as an inference server that exposes translation models through an OpenAI-compatible API, allowing any tool supporting the OpenAI client format to send translation requests. The system is designed as a glossary-aware translation engine that applies user-defined term dictionaries to ensure consistent translation of proper nouns and names across outputs. The project distinguishes itself by supporting multiple high-performance inference backends

Baichuan2 est une collection de grands modèles de langage pré-entraînés, incluant des variantes de base et de chat, conçus pour la génération de langage naturel et l'IA conversationnelle multi-tours. Il fournit un moteur d'inférence et un framework de fine-tuning pour adapter ces modèles à des jeux de données personnalisés et à des domaines spécialisés. Le projet propose une boîte à outils de quantification et un moteur d'inférence qui permettent l'exécution du modèle sur divers matériels, y compris les processeurs graphiques (GPU), les processeurs centraux (CPU) et des accélérateurs spécialisés. Ces outils prennent en charge la quantification des poids en faible bit pour réduire l'utilisation de la mémoire et augmenter la vitesse d'inférence sur du matériel contraint. Le système couvre un large éventail de capacités, notamment l'entraînement distribué multi-machine, le fine-tuning efficace en paramètres et l'alignement supervisé pour l'interaction humaine. Il inclut également des utilitaires pour la conversion de version de modèle et fournit des interfaces conversationnelles via des outils en ligne de commande ou des démonstrations web.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde