Awesome GitHub RepositoriesConvolutional Weight Standardization

Composer एक PyTorch डिस्ट्रिब्यूटेड ट्रेनिंग फ्रेमवर्क है जिसे मल्टी-नोड GPU क्लस्टर में बड़े पैमाने के मॉडल को स्केल करने के लिए डिज़ाइन किया गया है। यह एक लार्ज लैंग्वेज मॉडल ट्रेनर, डिस्ट्रिब्यूटेड मॉडल ऑप्टिमाइज़र और ट्रेनिंग लाइफसाइकिल मैनेजर के रूप में कार्य करता है। यह प्रोजेक्ट एक डीप लर्निंग रेगुलराइजेशन लाइब्रेरी के रूप में खुद को अलग करता है, जो मॉडल सामान्यीकरण (generalization) को बेहतर बनाने के लिए Sharpness Aware Minimization, MixUp और CutMix जैसी विशेष ऑप्टिमाइज़ेशन तकनीकें प्रदान करता है। यह सीक्वेंस लेंथ वार्मअप, प्रोग्रेसिव लेयर फ्रीजिंग और बड़े पैमाने पर मॉडल रिकवरी के लिए शार्डेड-स्टेट चेकपॉइंटिंग के उपयोग के माध्यम से अपने ट्रेनिंग फ्लो को और अलग करता है। यह फ्रेमवर्क डिस्ट्रिब्यूटेड ट्रेनिंग ऑर्केस्ट्रेशन, मिक्स्ड-प्रिसिजन हार्डवेयर मैनेजमेंट और क्लाउड-नेटिव डेटा स्ट्रीमिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह GPU मेमोरी डायग्नोस्टिक्स, ट्रेनिंग डाइवर्जेंस डिटेक्शन और थ्रूपुट ट्रैकिंग के लिए व्यापक मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल भी प्रदान करता है। इस प्रोजेक्ट में नोड्स के बीच मल्टी-GPU ट्रेनिंग जॉब्स के निष्पादन को स्वचालित करने के लिए एक कमांड-लाइन लॉन्चर शामिल है।

Flashlight एक स्टैंडअलोन C++ मशीन लर्निंग लाइब्रेरी और टेंसर लाइब्रेरी है जिसका उपयोग न्यूरल नेटवर्क बनाने और ट्रेन करने के लिए किया जाता है। यह एक व्यापक न्यूरल नेटवर्क फ्रेमवर्क और ऑटोमैटिक डिफरेंशिएशन इंजन के रूप में कार्य करता है, जो कम्प्यूटेशन ग्राफ बनाने और बैकप्रोपैगेशन के माध्यम से ग्रेडिएंट्स की गणना करने के लिए उपकरण प्रदान करता है। यह प्रोजेक्ट एक वितरित ट्रेनिंग फ्रेमवर्क के रूप में कार्य करता है, जो कई कंप्यूट नोड्स और डिवाइसेस पर ग्रेडिएंट्स और पैरामीटर्स को सिंक्रोनाइज़ करने के लिए ऑल-रिड्यूस ऑपरेशन्स का उपयोग करता है। यह उच्च-प्रदर्शन टेंसर मैनिपुलेशन, नेटिव डिवाइस मेमोरी इंटरऑपरेबिलिटी और बड़े पैमाने पर मॉडल ट्रेनिंग को गति देने के लिए वितरित वर्कर्स में वेट्स को सिंक्रोनाइज़ करने के सिस्टम के गहरे एकीकरण के माध्यम से खुद को अलग करता है। यह फ्रेमवर्क रेजिडुअल ब्लॉक्स और रिकरेंट सेल्स जैसे जटिल आर्किटेक्चर को डिज़ाइन करने के लिए मॉड्यूलर लेयर कंपोज़िशन सहित डीप लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मॉडल स्टेट्स को बनाए रखने के लिए सीरियलाइजेशन सिस्टम के साथ-साथ इनजेशन और प्रीफेचिंग के लिए व्यापक डेटा प्रबंधन यूटिलिटीज प्रदान करता है। इसके अतिरिक्त, इसमें ट्रेनिंग मेट्रिक्स को ट्रैक करने और सीक्वेंस एरर्स को मापने के लिए मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल्स का एक सूट शामिल है। यह लाइब्रेरी C++ में इम्प्लीमेंट की गई है।

This repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu