1 रिपॉजिटरी
Awesome GitHub RepositoriesData Prefetching
Asynchronous loading of dataset samples into memory ahead of their consumption in the training pipeline.
Distinct from Database Performance Sampling: Distinct from Database Performance Sampling: focuses on asynchronous pre-loading for ML training pipelines rather than statistical retrieval for tuning.
Explore 1 awesome GitHub repository matching data & databases · Data Prefetching. Refine with filters or upvote what's useful.
Awesome Data Prefetching GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- facebookresearch/flashlight
facebookresearch/flashlight
5,443GitHub पर देखेंFlashlight एक C++ मशीन लर्निंग लाइब्रेरी और डीप लर्निंग फ्रेमवर्क है जिसे न्यूरल नेटवर्क बनाने और ट्रेन करने के लिए डिज़ाइन किया गया है। यह एक टेंसर मैनिपुलेशन लाइब्रेरी और एक ऑटोमैटिक डिफरेंशिएशन इंजन के रूप में कार्य करता है जो मॉडल ऑप्टिमाइज़ेशन के लिए बैकप्रोपैगेशन के माध्यम से ग्रेडिएंट्स की गणना करने के लिए ऑपरेशन्स को ट्रैक करता है। यह प्रोजेक्ट एक वितरित ट्रेनिंग फ्रेमवर्क के रूप में अपनी भूमिका के लिए प्रतिष्ठित है, जो कई नोड्स और डिवाइसेस पर मशीन लर्निंग वर्कलोड को स्केल करने के लिए ऑल-रिड्यूस ग्रेडिएंट सिंक्रोनाइज़ेशन और वितरित वातावरण का उपयोग करता है। इसमें बैकएंड-अज्ञेयवादी मेमोरी इंटरफेस और RAII-आधारित प्रबंधन की सुविधा है ताकि टेंसर ऑपरेशन्स को फिजिकल हार्डवेयर से अलग किया जा सके। यह फ्रेमवर्क कन्वेन्शनल, लीनियर और रिकरेंट लेयर्स के साथ न्यूरल नेटवर्क आर्किटेक्चर के निर्माण सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह टेंसर बीजगणित, डेटासेट प्रबंधन और बैचिंग, मॉडल स्टेट्स के लिए वर्शन्ड बाइनरी सीरियलाइजेशन और ट्रेनिंग मेट्रिक्स व मेमोरी उपयोग को ट्रैक करने के लिए मॉनिटरिंग टूल्स के लिए व्यापक यूटिलिटीज प्रदान करता है।
Implements a background thread pool to prefetch dataset samples, increasing sequential access speed during training.
C++
