Awesome GitHub Repositories4-Bit Quantization Tools

FlexLLMGen is an inference engine and runtime designed to run large language models on a single GPU by combining weight compression with tensor offloading. It reduces model weight memory usage by approximately 70% through 4-bit quantization, and stores model parameters, attention cache, and hidden states across GPU, CPU, and disk to fit models larger than available GPU memory. The project distinguishes itself through a throughput-oriented batching approach that processes multiple generation requests together in large batches to maximize throughput on a single GPU. It also supports distributed

Lit-llama هو إطار عمل تنفيذ يعتمد على PyTorch لنموذج اللغة LLaMA، ويوفر نظاماً للتدريب المسبق، والضبط الدقيق، والاستدلال عالي الأداء. يتضمن خط أنابيب تدريب مسبق لإنشاء نماذج لغوية أساسية من الصفر وأدوات لتشغيل الأوزان المدربة مسبقاً لتوليد نص طبيعي والتنبؤ بالتسلسلات. يوفر المشروع مجموعات أدوات متخصصة للضبط الدقيق الفعال للمعلمات باستخدام التكيف منخفض الرتبة (LoRA) والمحولات خفيفة الوزن. كما يتضمن مكتبة تكميم (quantization) تقلل من بصمات ذاكرة النموذج من خلال دقة 4 بت و8 بت لتمكين التنفيذ على الأجهزة ذات الموارد المحدودة. يدمج إطار العمل تصميم محول مبسط ويوظف انتباه الفلاش (flash attention) لتحسين الذاكرة والسرعة. كما يدير مجموعات بيانات واسعة النطاق من خلال تنسيقات بيانات البث لتجنب تحميل مجموعات النصوص الكاملة في ذاكرة النظام.

Baichuan-7B is an open-source 7 billion parameter bilingual Transformer model designed for text generation and few-shot learning across Chinese and English. It is built on a large Transformer architecture trained on a bilingual corpus, enabling it to produce coherent text in both languages from a single model. The model incorporates several optimization techniques that distinguish it from standard large language models. It uses rotary position embeddings that can extrapolate to longer sequences than seen during training, allowing context extension beyond the original 4096-token training lengt

AutoGPTQ هو إطار عمل لضغط النماذج مصمم لتقليل بصمة الذاكرة وزيادة سرعة الاستنتاج لنماذج اللغات الكبيرة. يستخدم خوارزمية GPTQ لضغط أوزان النموذج، مما يسمح لهذه النماذج بالعمل على أجهزة ذات ذاكرة فيديو (VRAM) محدودة. توفر مجموعة الأدوات خط أنابيب لتكميم البنية (Architecture quantization) يدعم دمج فئات النماذج المخصصة لبنيات الشبكات العصبية المختلفة. يتضمن محرك استنتاج بدقة مختلطة مع نواة محسنة لتسريع ضرب المصفوفات أثناء النشر. يغطي إطار العمل سير عمل ضغط الأوزان بالكامل، من المعايرة والتكميم إلى تقييم الدقة اللاحق. تقيس هذه الأدوات فقدان الأداء من خلال مقارنة مخرجات النماذج المكممة مقابل الأوزان الأصلية في مهام القياس المعياري.

AutoGPTQ هو مجموعة أدوات لضغط النماذج وإطار عمل للتكميم بعد التدريب مصمم لتقليل بصمة الذاكرة لنماذج اللغات الكبيرة. يستخدم خوارزمية GPTQ لضغط أوزان الشبكة العصبية، مما يقلل من متطلبات الأجهزة ويقلل من استخدام ذاكرة الفيديو (VRAM). يعمل المشروع كمسرع للاستنتاج من خلال توفير نواة محسنة تزيد من سرعة توليد الرموز (Tokens). يتميز بقابلية توسيع بنية النموذج، مما يسمح بإضافة قدرات التكميم إلى هياكل النماذج الجديدة من خلال أنماط قابلة للتكوين. يغطي إطار العمل خط أنابيب تكميم شامل، بما في ذلك ضغط الأوزان على مستوى الطبقة، وتقدير النطاق القائم على المعايرة، وتعيين الذاكرة الخاص بالدقة. كما يتضمن أنظمة لتقييم أداء النموذج لقياس تأثير التكميم على الدقة عبر مهام اللغة والتلخيص.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde