4 रिपॉजिटरी
Awesome GitHub RepositoriesStochastic Depth Regularization
Regularization techniques that randomly drop network paths during training to prevent overfitting.
Distinct from Overfitting Reduction Techniques: Specifically implements stochastic depth as a path-dropping regularization, distinct from general data-driven overfitting reduction.
Explore 4 awesome GitHub repositories matching artificial intelligence & ml · Stochastic Depth Regularization. Refine with filters or upvote what's useful.
Awesome Stochastic Depth Regularization GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- facebookresearch/convnext
facebookresearch/ConvNeXt
6,388GitHub पर देखेंCode release for ConvNeXt model
Applies stochastic depth regularization by randomly dropping residual blocks during training.
Python - mosaicml/composer
mosaicml/composer
5,485GitHub पर देखेंComposer एक PyTorch डिस्ट्रिब्यूटेड ट्रेनिंग फ्रेमवर्क है जिसे मल्टी-नोड GPU क्लस्टर में बड़े पैमाने के मॉडल को स्केल करने के लिए डिज़ाइन किया गया है। यह एक लार्ज लैंग्वेज मॉडल ट्रेनर, डिस्ट्रिब्यूटेड मॉडल ऑप्टिमाइज़र और ट्रेनिंग लाइफसाइकिल मैनेजर के रूप में कार्य करता है। यह प्रोजेक्ट एक डीप लर्निंग रेगुलराइजेशन लाइब्रेरी के रूप में खुद को अलग करता है, जो मॉडल सामान्यीकरण (generalization) को बेहतर बनाने के लिए Sharpness Aware Minimization, MixUp और CutMix जैसी विशेष ऑप्टिमाइज़ेशन तकनीकें प्रदान करता है। यह सीक्वेंस लेंथ वार्मअप, प्रोग्रेसिव लेयर फ्रीजिंग और बड़े पैमाने पर मॉडल रिकवरी के लिए शार्डेड-स्टेट चेकपॉइंटिंग के उपयोग के माध्यम से अपने ट्रेनिंग फ्लो को और अलग करता है। यह फ्रेमवर्क डिस्ट्रिब्यूटेड ट्रेनिंग ऑर्केस्ट्रेशन, मिक्स्ड-प्रिसिजन हार्डवेयर मैनेजमेंट और क्लाउड-नेटिव डेटा स्ट्रीमिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह GPU मेमोरी डायग्नोस्टिक्स, ट्रेनिंग डाइवर्जेंस डिटेक्शन और थ्रूपुट ट्रैकिंग के लिए व्यापक मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल भी प्रदान करता है। इस प्रोजेक्ट में नोड्स के बीच मल्टी-GPU ट्रेनिंग जॉब्स के निष्पादन को स्वचालित करने के लिए एक कमांड-लाइन लॉन्चर शामिल है।
Provides stochastic depth regularization to randomly drop network paths during training and prevent overfitting in deep models.
Python - ai-dawang/plugnplay-modules
ai-dawang/PlugNPlay-Modules
4,968GitHub पर देखेंPlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural
Implements stochastic depth to randomly drop sample paths during training to improve model generalization.
Python - lightly-ai/lightly
lightly-ai/lightly
3,684GitHub पर देखेंLightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,
Injects dropout into transformer blocks via stochastic depth regularization to prevent overfitting during training.
Pythoncomputer-visioncontrastive-learningcontributions-welcome
