1 रिपॉजिटरी
Awesome GitHub RepositoriesQuantized Tensor Layouts
Mapping quantized tensors to hardware-specific memory layouts for faster execution.
Distinct from Tensor Memory Mapping: Specifically targets memory layouts for quantized weights on accelerators, whereas Tensor Memory Mapping is for general inter-language data transfer.
Explore 1 awesome GitHub repository matching software engineering & architecture · Quantized Tensor Layouts. Refine with filters or upvote what's useful.
Awesome Quantized Tensor Layouts GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070GitHub पर देखेंAutoGPTQ एक मॉडल कम्प्रेशन टूलकिट और पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जिसे लार्ज लैंग्वेज मॉडल्स के मेमोरी फुटप्रिंट को कम करने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क वेट्स को कंप्रेस करने के लिए GPTQ एल्गोरिदम का उपयोग करता है, जिससे हार्डवेयर आवश्यकताएं कम होती हैं और VRAM उपयोग कम होता है। यह प्रोजेक्ट एक इन्फरेंस एक्सेलेरेटर के रूप में कार्य करता है जो ऑप्टिमाइज़्ड कर्नेल प्रदान करता है जो टोकन जनरेशन की गति को बढ़ाता है। इसमें मॉडल आर्किटेक्चर एक्स्टेंसिबिलिटी की सुविधा है, जो कॉन्फ़िगर करने योग्य पैटर्न्स के माध्यम से नई मॉडल संरचनाओं में क्वांटाइजेशन क्षमताओं को जोड़ने की अनुमति देती है। यह फ्रेमवर्क एक व्यापक क्वांटाइजेशन पाइपलाइन को कवर करता है, जिसमें लेयर-वार वेट कम्प्रेशन, कैलिब्रेशन-आधारित स्केल अनुमान और प्रिसिजन-विशिष्ट मेमोरी मैपिंग शामिल है। इसमें भाषा और सारांश कार्यों में सटीकता पर क्वांटाइजेशन के प्रभाव को मापने के लिए मॉडल परफॉरमेंस मूल्यांकन के लिए सिस्टम भी शामिल हैं।
Maps quantized tensors to specific memory layouts to enable faster loading and execution on hardware accelerators.
Python
