6 रिपॉजिटरी
Awesome GitHub Repositories4-Bit Quantization Tools
Tools that reduce model weight memory by approximately 70% using 4-bit quantization with minimal accuracy loss.
Distinct from Low-Bit Weight Quantization: Distinct from Low-Bit Weight Quantization: focuses specifically on 4-bit precision rather than general low-bit formats like INT4 and FP8.
Explore 6 awesome GitHub repositories matching devops & infrastructure · 4-Bit Quantization Tools. Refine with filters or upvote what's useful.
Awesome 4-Bit Quantization Tools GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- fminference/flexllmgen
FMInference/FlexLLMGen
9,362GitHub पर देखेंFlexLLMGen is an inference engine and runtime designed to run large language models on a single GPU by combining weight compression with tensor offloading. It reduces model weight memory usage by approximately 70% through 4-bit quantization, and stores model parameters, attention cache, and hidden states across GPU, CPU, and disk to fit models larger than available GPU memory. The project distinguishes itself through a throughput-oriented batching approach that processes multiple generation requests together in large batches to maximize throughput on a single GPU. It also supports distributed
Reduces model weight memory by approximately 70% using 4-bit quantization with minimal accuracy loss.
Pythondeep-learninggpt-3high-throughput - lightning-ai/lit-llama
Lightning-AI/lit-llama
6,081GitHub पर देखेंLit-llama is a PyTorch-based implementation framework for the LLaMA language model, providing a system for pre-training, fine-tuning, and high-performance inference. It includes a pre-training pipeline for creating foundational language models from scratch and tools for running pretrained weights to generate natural text and predict sequences. The project provides specialized toolkits for parameter-efficient fine-tuning using low-rank adaptation and lightweight adapters. It also includes a quantization library that reduces model memory footprints through four-bit and eight-bit precision to en
Ships a quantization library that reduces memory footprints via GPTQ-based 4-bit and 8-bit precision.
Python - baichuan-inc/baichuan-7b
baichuan-inc/Baichuan-7B
5,654GitHub पर देखेंBaichuan-7B is an open-source 7 billion parameter bilingual Transformer model designed for text generation and few-shot learning across Chinese and English. It is built on a large Transformer architecture trained on a bilingual corpus, enabling it to produce coherent text in both languages from a single model. The model incorporates several optimization techniques that distinguish it from standard large language models. It uses rotary position embeddings that can extrapolate to longer sequences than seen during training, allowing context extension beyond the original 4096-token training lengt
Reduces model memory by approximately 70% using 4-bit weight quantization with minimal accuracy loss.
Pythonartificial-intelligencecevalchatgpt - panqiwei/autogptq
PanQiWei/AutoGPTQ
5,073GitHub पर देखेंAutoGPTQ एक मॉडल कम्प्रेशन फ्रेमवर्क है जिसे लार्ज लैंग्वेज मॉडल्स के मेमोरी फुटप्रिंट को कम करने और इन्फरेंस गति बढ़ाने के लिए डिज़ाइन किया गया है। यह मॉडल वेट्स को कंप्रेस करने के लिए GPTQ एल्गोरिदम का उपयोग करता है, जिससे ये मॉडल्स सीमित VRAM वाले हार्डवेयर पर चल सकते हैं। यह टूलकिट एक आर्किटेक्चर क्वांटाइजेशन पाइपलाइन प्रदान करता है जो विभिन्न न्यूरल नेटवर्क आर्किटेक्चर के लिए कस्टम मॉडल क्लासेस के एकीकरण का समर्थन करता है। इसमें डिप्लॉयमेंट के दौरान मैट्रिक्स गुणन को तेज करने के लिए ऑप्टिमाइज़्ड कर्नेल के साथ एक मिक्स्ड-प्रिसिजन इन्फरेंस इंजन शामिल है। यह फ्रेमवर्क कैलिब्रेशन और क्वांटाइजेशन से लेकर डाउनस्ट्रीम सटीकता मूल्यांकन तक, पूर्ण वेट-कम्प्रेशन वर्कफ़्लो को कवर करता है। ये टूल्स बेंचमार्क कार्यों पर मूल वेट्स के खिलाफ क्वांटाइज्ड मॉडल्स के आउटपुट की तुलना करके परफॉरमेंस लॉस को मापते हैं।
Implements the GPTQ algorithm for post-training weight quantization to reduce model size.
Python - autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070GitHub पर देखेंAutoGPTQ एक मॉडल कम्प्रेशन टूलकिट और पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जिसे लार्ज लैंग्वेज मॉडल्स के मेमोरी फुटप्रिंट को कम करने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क वेट्स को कंप्रेस करने के लिए GPTQ एल्गोरिदम का उपयोग करता है, जिससे हार्डवेयर आवश्यकताएं कम होती हैं और VRAM उपयोग कम होता है। यह प्रोजेक्ट एक इन्फरेंस एक्सेलेरेटर के रूप में कार्य करता है जो ऑप्टिमाइज़्ड कर्नेल प्रदान करता है जो टोकन जनरेशन की गति को बढ़ाता है। इसमें मॉडल आर्किटेक्चर एक्स्टेंसिबिलिटी की सुविधा है, जो कॉन्फ़िगर करने योग्य पैटर्न्स के माध्यम से नई मॉडल संरचनाओं में क्वांटाइजेशन क्षमताओं को जोड़ने की अनुमति देती है। यह फ्रेमवर्क एक व्यापक क्वांटाइजेशन पाइपलाइन को कवर करता है, जिसमें लेयर-वार वेट कम्प्रेशन, कैलिब्रेशन-आधारित स्केल अनुमान और प्रिसिजन-विशिष्ट मेमोरी मैपिंग शामिल है। इसमें भाषा और सारांश कार्यों में सटीकता पर क्वांटाइजेशन के प्रभाव को मापने के लिए मॉडल परफॉरमेंस मूल्यांकन के लिए सिस्टम भी शामिल हैं।
Implements the GPTQ algorithm for high-efficiency post-training weight quantization of large language models.
Python - nunchaku-ai/nunchaku
nunchaku-ai/nunchaku
3,883GitHub पर देखेंNunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde
Provides a toolkit for compressing neural network weights into four-bit precision to reduce VRAM usage.
Pythoncomfyuidiffusion-modelsflux
