3 रिपॉजिटरी
Awesome GitHub RepositoriesGPTQ Quantization Libraries
Libraries implementing the GPTQ algorithm for post-training weight quantization.
Distinct from 4-Bit Quantization Tools: Specifically implements the GPTQ algorithm, whereas the parent is a general tool for 4-bit quantization
Explore 3 awesome GitHub repositories matching devops & infrastructure · GPTQ Quantization Libraries. Refine with filters or upvote what's useful.
Awesome GPTQ Quantization Libraries GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- lightning-ai/lit-llama
Lightning-AI/lit-llama
6,081GitHub पर देखेंLit-llama is a PyTorch-based implementation framework for the LLaMA language model, providing a system for pre-training, fine-tuning, and high-performance inference. It includes a pre-training pipeline for creating foundational language models from scratch and tools for running pretrained weights to generate natural text and predict sequences. The project provides specialized toolkits for parameter-efficient fine-tuning using low-rank adaptation and lightweight adapters. It also includes a quantization library that reduces model memory footprints through four-bit and eight-bit precision to en
Ships a quantization library that reduces memory footprints via GPTQ-based 4-bit and 8-bit precision.
Python - panqiwei/autogptq
PanQiWei/AutoGPTQ
5,073GitHub पर देखेंAutoGPTQ एक मॉडल कम्प्रेशन फ्रेमवर्क है जिसे लार्ज लैंग्वेज मॉडल्स के मेमोरी फुटप्रिंट को कम करने और इन्फरेंस गति बढ़ाने के लिए डिज़ाइन किया गया है। यह मॉडल वेट्स को कंप्रेस करने के लिए GPTQ एल्गोरिदम का उपयोग करता है, जिससे ये मॉडल्स सीमित VRAM वाले हार्डवेयर पर चल सकते हैं। यह टूलकिट एक आर्किटेक्चर क्वांटाइजेशन पाइपलाइन प्रदान करता है जो विभिन्न न्यूरल नेटवर्क आर्किटेक्चर के लिए कस्टम मॉडल क्लासेस के एकीकरण का समर्थन करता है। इसमें डिप्लॉयमेंट के दौरान मैट्रिक्स गुणन को तेज करने के लिए ऑप्टिमाइज़्ड कर्नेल के साथ एक मिक्स्ड-प्रिसिजन इन्फरेंस इंजन शामिल है। यह फ्रेमवर्क कैलिब्रेशन और क्वांटाइजेशन से लेकर डाउनस्ट्रीम सटीकता मूल्यांकन तक, पूर्ण वेट-कम्प्रेशन वर्कफ़्लो को कवर करता है। ये टूल्स बेंचमार्क कार्यों पर मूल वेट्स के खिलाफ क्वांटाइज्ड मॉडल्स के आउटपुट की तुलना करके परफॉरमेंस लॉस को मापते हैं।
Implements the GPTQ algorithm for post-training weight quantization to reduce model size.
Python - autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070GitHub पर देखेंAutoGPTQ एक मॉडल कम्प्रेशन टूलकिट और पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जिसे लार्ज लैंग्वेज मॉडल्स के मेमोरी फुटप्रिंट को कम करने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क वेट्स को कंप्रेस करने के लिए GPTQ एल्गोरिदम का उपयोग करता है, जिससे हार्डवेयर आवश्यकताएं कम होती हैं और VRAM उपयोग कम होता है। यह प्रोजेक्ट एक इन्फरेंस एक्सेलेरेटर के रूप में कार्य करता है जो ऑप्टिमाइज़्ड कर्नेल प्रदान करता है जो टोकन जनरेशन की गति को बढ़ाता है। इसमें मॉडल आर्किटेक्चर एक्स्टेंसिबिलिटी की सुविधा है, जो कॉन्फ़िगर करने योग्य पैटर्न्स के माध्यम से नई मॉडल संरचनाओं में क्वांटाइजेशन क्षमताओं को जोड़ने की अनुमति देती है। यह फ्रेमवर्क एक व्यापक क्वांटाइजेशन पाइपलाइन को कवर करता है, जिसमें लेयर-वार वेट कम्प्रेशन, कैलिब्रेशन-आधारित स्केल अनुमान और प्रिसिजन-विशिष्ट मेमोरी मैपिंग शामिल है। इसमें भाषा और सारांश कार्यों में सटीकता पर क्वांटाइजेशन के प्रभाव को मापने के लिए मॉडल परफॉरमेंस मूल्यांकन के लिए सिस्टम भी शामिल हैं।
Implements the GPTQ algorithm for high-efficiency post-training weight quantization of large language models.
Python
