2 रिपॉजिटरी
Awesome GitHub RepositoriesTensor Memory Mapping
Mechanisms for converting native memory arrays into tensor formats for inter-language data transfer.
Distinct from Foreign Function Interfaces: Distinct from Foreign Function Interfaces: specifically targets the mapping and conversion of numerical arrays to tensors.
Explore 2 awesome GitHub repositories matching software engineering & architecture · Tensor Memory Mapping. Refine with filters or upvote what's useful.
Awesome Tensor Memory Mapping GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- tensorflow/rust
tensorflow/rust
5,480GitHub पर देखेंThis project provides Rust bindings for the TensorFlow C API, serving as a tensor computation interface and machine learning library. It enables the construction and execution of machine learning models and neural networks by bridging a systems language to high-performance backends. The framework supports GPU-accelerated computing to increase the speed of model training and inference by offloading mathematical operations to graphics processing units. It offers both graph-based computation for defining static network architectures and an eager execution mode for immediate operation calls durin
Converts native arrays into tensor formats to move data efficiently between the application and the external engine.
Rust - autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070GitHub पर देखेंAutoGPTQ एक मॉडल कम्प्रेशन टूलकिट और पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जिसे लार्ज लैंग्वेज मॉडल्स के मेमोरी फुटप्रिंट को कम करने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क वेट्स को कंप्रेस करने के लिए GPTQ एल्गोरिदम का उपयोग करता है, जिससे हार्डवेयर आवश्यकताएं कम होती हैं और VRAM उपयोग कम होता है। यह प्रोजेक्ट एक इन्फरेंस एक्सेलेरेटर के रूप में कार्य करता है जो ऑप्टिमाइज़्ड कर्नेल प्रदान करता है जो टोकन जनरेशन की गति को बढ़ाता है। इसमें मॉडल आर्किटेक्चर एक्स्टेंसिबिलिटी की सुविधा है, जो कॉन्फ़िगर करने योग्य पैटर्न्स के माध्यम से नई मॉडल संरचनाओं में क्वांटाइजेशन क्षमताओं को जोड़ने की अनुमति देती है। यह फ्रेमवर्क एक व्यापक क्वांटाइजेशन पाइपलाइन को कवर करता है, जिसमें लेयर-वार वेट कम्प्रेशन, कैलिब्रेशन-आधारित स्केल अनुमान और प्रिसिजन-विशिष्ट मेमोरी मैपिंग शामिल है। इसमें भाषा और सारांश कार्यों में सटीकता पर क्वांटाइजेशन के प्रभाव को मापने के लिए मॉडल परफॉरमेंस मूल्यांकन के लिए सिस्टम भी शामिल हैं।
Maps quantized tensors to specific memory layouts to enable faster loading and execution on hardware accelerators.
Python
