Awesome GitHub RepositoriesLow-Bit Weight Quantization

FlexLLMGen is an inference engine and runtime designed to run large language models on a single GPU by combining weight compression with tensor offloading. It reduces model weight memory usage by approximately 70% through 4-bit quantization, and stores model parameters, attention cache, and hidden states across GPU, CPU, and disk to fit models larger than available GPU memory. The project distinguishes itself through a throughput-oriented batching approach that processes multiple generation requests together in large batches to maximize throughput on a single GPU. It also supports distributed

BigDL este un framework de accelerare PyTorch și un motor de inferență distribuită conceput pentru modele de limbaj mari (LLM). Oferă un toolkit pentru rularea modelelor pe hardware Intel, integrând instrumente de cuantizare și biblioteci pentru fine-tuning eficient din punct de vedere al parametrilor. Proiectul se distinge prin utilizarea paralelismului de pipeline pentru a distribui workload-urile modelelor pe mai multe acceleratoare hardware. Utilizează cuantizarea pe numere întregi pe biți puțini (low-bit) și decodarea speculativă pentru a reduce amprenta de memorie și a scădea latența generării de text. Sistemul acoperă capabilități largi în optimizarea modelelor, inclusiv compresia ponderilor și încărcarea modelelor cuantizate. De asemenea, suportă rutine de antrenare accelerate hardware pentru a adapta modelele pre-antrenate la sarcini specifice.

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

Yi is a bilingual language model and foundation model designed for natural language processing, reasoning, and reading comprehension in both English and Chinese. It is built as a transformer-based architecture capable of general purpose text generation and conversational tasks. The model is distinguished by its ability to function as a long context system, processing and analyzing extended input sequences up to 200k tokens. It also supports quantized versions that use low-bit precision to reduce memory footprints, enabling execution on consumer-grade hardware. The project covers a broad rang

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Lit-llama este un framework de implementare bazat pe PyTorch pentru modelul de limbaj LLaMA, oferind un sistem pentru pre-antrenare, fine-tuning și inferență de înaltă performanță. Include un pipeline de pre-antrenare pentru crearea de modele de limbaj fundamentale de la zero și instrumente pentru rularea ponderilor preantrenate pentru a genera text natural și a prezice secvențe. Proiectul oferă toolkit-uri specializate pentru fine-tuning eficient din punct de vedere al parametrilor, folosind adaptarea low-rank (LoRA) și adaptoare ușoare. Include, de asemenea, o bibliotecă de cuantizare care reduce amprenta de memorie a modelelor prin precizie pe patru și opt biți pentru a permite execuția pe hardware cu resurse limitate. Framework-ul încorporează un design simplificat de transformer și utilizează flash attention pentru a optimiza memoria și viteza. Mai mult, gestionează seturi de date la scară largă prin formate de date streaming pentru a evita încărcarea întregilor corpora în memoria sistemului.

ACE Step 1.5 is a local text-to-music generation and audio editing system that runs on consumer hardware. It transforms plain-language descriptions into full-length songs with lyrics, and can edit existing audio through cover generation, vocal removal, track separation, and selective repainting. The system supports multilingual prompts and lyrics in over 50 languages, and provides precise control over musical structure including duration, BPM, key, and time signature. The project distinguishes itself through a dual-stream diffusion architecture that processes separate latent streams for vocal

Baichuan-7B is an open-source 7 billion parameter bilingual Transformer model designed for text generation and few-shot learning across Chinese and English. It is built on a large Transformer architecture trained on a bilingual corpus, enabling it to produce coherent text in both languages from a single model. The model incorporates several optimization techniques that distinguish it from standard large language models. It uses rotary position embeddings that can extrapolate to longer sequences than seen during training, allowing context extension beyond the original 4096-token training lengt

AutoGPTQ este un framework de compresie a modelelor conceput pentru a reduce amprenta de memorie și a crește viteza de inferență a modelelor de limbaj mari (LLM). Utilizează algoritmul GPTQ pentru a comprima ponderile modelului, permițând acestor modele să ruleze pe hardware cu VRAM limitat. Setul de instrumente oferă un pipeline de cuantizare a arhitecturii care suportă integrarea claselor de modele personalizate pentru diverse arhitecturi de rețele neuronale. Include un motor de inferență cu precizie mixtă cu nuclee optimizate pentru a accelera înmulțirea matricelor în timpul implementării. Framework-ul acoperă întregul flux de lucru de compresie a ponderilor, de la calibrare și cuantizare până la evaluarea acurateței ulterioare. Aceste instrumente măsoară pierderea de performanță prin compararea output-ului modelelor cuantizate cu ponderile originale pe sarcini de benchmark.

AutoGPTQ este un set de instrumente de compresie a modelelor și un framework de cuantizare post-antrenare conceput pentru a reduce amprenta de memorie a modelelor de limbaj mari. Utilizează algoritmul GPTQ pentru a comprima ponderile rețelelor neuronale, reducând cerințele hardware și utilizarea VRAM. Proiectul servește drept accelerator de inferență prin furnizarea de nuclee optimizate care cresc viteza de generare a token-urilor. Dispune de extensibilitate a arhitecturii modelului, permițând adăugarea capabilităților de cuantizare la noi structuri de modele prin modele configurabile. Framework-ul acoperă un pipeline cuprinzător de cuantizare, incluzând compresia ponderilor pe niveluri, estimarea scalei bazată pe calibrare și maparea memoriei specifică preciziei. Include, de asemenea, sisteme pentru evaluarea performanței modelului pentru a măsura impactul cuantizării asupra acurateței în sarcini de limbaj și sumarizare.

SakuraLLM is a multi-format document translation system that hosts large language models for translating Japanese text into other languages. It functions as an inference server that exposes translation models through an OpenAI-compatible API, allowing any tool supporting the OpenAI client format to send translation requests. The system is designed as a glossary-aware translation engine that applies user-defined term dictionaries to ensure consistent translation of proper nouns and names across outputs. The project distinguishes itself by supporting multiple high-performance inference backends

Baichuan2 este o colecție de modele de limbaj mari pre-antrenate, incluzând variante de bază și de chat, concepute pentru generarea de limbaj natural și AI conversațional multi-turn. Acesta oferă un motor de inferență și un framework de fine-tuning pentru a adapta aceste modele la seturi de date personalizate și domenii specializate. Proiectul dispune de un toolkit de cuantizare și un motor de inferență care permit execuția modelului pe diverse hardware-uri, inclusiv procesoare grafice (GPU), procesoare centrale (CPU) și acceleratoare specializate. Aceste instrumente suportă cuantizarea ponderilor pe biți puțini pentru a reduce utilizarea memoriei și a crește viteza de inferență pe hardware limitat. Sistemul acoperă o gamă largă de capabilități, inclusiv antrenarea distribuită pe mai multe mașini, fine-tuning eficient din punct de vedere al parametrilor și alinierea supervizată pentru interacțiunea umană. Include, de asemenea, utilitare pentru conversia versiunilor de model și oferă interfețe conversaționale prin instrumente de linie de comandă sau demonstrații bazate pe web.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde