3 रिपॉजिटरी
Awesome GitHub RepositoriesBinary Record Data Loading
Optimized mechanisms for reading large-scale datasets from binary files to minimize I/O overhead during model training.
Distinct from Binary Memory Loading: None of the candidates cover high-performance dataset loading for ML; they focus on memory emulation, native plugins, or specific file formats.
Explore 3 awesome GitHub repositories matching data & databases · Binary Record Data Loading. Refine with filters or upvote what's useful.
Awesome Binary Record Data Loading GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- kingoflolz/mesh-transformer-jax
kingoflolz/mesh-transformer-jax
6,376GitHub पर देखेंयह प्रोजेक्ट एक JAX-आधारित ट्रांसफार्मर फ्रेमवर्क और लार्ज लैंग्वेज मॉडल ट्रेनर है जिसे TPU हार्डवेयर एक्सेलेरेटर्स पर वितरित मॉडल्स बनाने और प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह मेमोरी ओवरहेड को कम करने और प्रोसेसिंग गति बढ़ाने के लिए डिवाइसेस के मेश पर वेट्स और कंप्यूटेशन्स को विभाजित करके ऑटोरिग्र्रेसिव मॉडल्स को प्रीट्रेन और फाइन-ट्यून करने के लिए एक सिस्टम प्रदान करता है। फ्रेमवर्क में संसाधनों को प्रोविज़न करने और रिमोट वितरित नोड्स पर डिपेंडेंसी इंस्टॉलेशन को स्वचालित करने के लिए एक TPU कंप्यूट ऑर्केस्ट्रेटर शामिल है। इसमें एक मॉडल वेट कन्वर्टर भी है जो विभिन्न हार्डवेयर कॉन्फ़िगरेशन और न्यूमेरिकल प्रिसिजन के बीच चेकपॉइंट्स को ट्रांसफॉर्म और रिशार्ड करने में सक्षम है। प्रोजेक्ट क्लाउड स्टोरेज के लिए शार्ड चेकपॉइंट मैनेजमेंट, स्टेट रिस्टोरेशन के साथ स्ट्रीम-आधारित डेटा लोडिंग, और मॉडल इन्फरेंस के लिए न्यूक्लियस-आधारित टेक्स्ट जनरेशन सहित व्यापक क्षमताओं को कवर करता है। यह TPU और GPU क्लस्टर्स के लिए XLA-कंपाइल्ड हार्डवेयर एक्सेलेरेशन का समर्थन करता है और मानकीकृत भाषा कार्यों के खिलाफ प्रदर्शन बेंचमार्किंग के लिए उपकरण प्रदान करता है।
Reads training batches from binary record files using parsing functions to feed distributed accelerators without memory overflow.
Python - dmlc/gluon-cv
dmlc/gluon-cv
5,922GitHub पर देखेंGluon-CV एक MXNet कंप्यूटर विज़न लाइब्रेरी है जो प्री-इंप्लीमेंटेड विज़न आर्किटेक्चर और ट्रेनिंग पाइपलाइन्स का एक व्यापक संग्रह प्रदान करती है। यह एक डीप लर्निंग रिसर्च टूलकिट और मॉडल ज़ू के रूप में कार्य करती है, जिसमें इमेज और वीडियो एनालिसिस के लिए अत्याधुनिक प्री-ट्रेंड वेट्स शामिल हैं। इस प्रोजेक्ट में एक विशेष ह्यूमन पोज़ एस्टिमेशन लाइब्रेरी और मॉडल कम्प्रेशन टूलकिट शामिल है। ये टूल्स इन्फरेंस स्पीड बढ़ाने और कंस्ट्रेंड एज हार्डवेयर पर डिप्लॉयमेंट को सुविधाजनक बनाने के लिए डीप लर्निंग मॉडल्स की प्रूनिंग और क्वांटाइज़ेशन की अनुमति देते हैं। यह लाइब्रेरी इमेज क्लासिफिकेशन, ऑब्जेक्ट डिटेक्शन और सिमेंटिक व इंस्टेंस सेगमेंटेशन जैसी विज़न क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है।
Provides optimized mechanisms for reading large-scale image datasets from binary files to reduce I/O overhead during training.
Pythonaction-recognitioncomputer-visiondeep-learning - brightmart/albert_zh
brightmart/albert_zh
3,982GitHub पर देखेंThis project is an implementation of the ALBERT language model architecture, providing a framework for training and evaluating transformer-based text classifiers and similarity models. It specifically includes pre-trained assets and tools optimized for generating semantic embeddings and representations of Chinese text. The framework distinguishes itself through tools for converting heavy language model checkpoints into lightweight formats to enable low-latency inference on mobile devices. It utilizes specific weight reduction techniques, including cross-parameter sharing and factorized embedd
Provides optimized mechanisms for reading large-scale binary datasets to minimize I/O overhead.
Pythonalbertbertchinese-corpus
