1 مستودع
Awesome GitHub RepositoriesSmall Batch Simulations
Techniques that simulate the behavior of small batch normalization by splitting larger batches into smaller chunks.
Distinct from Batch Normalization: Focuses on simulating a specific batch size's effect for normalization, distinct from general batch normalization or dynamic runtime splitting.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Small Batch Simulations. Refine with filters or upvote what's useful.
Awesome Small Batch Simulations GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- mosaicml/composer
mosaicml/composer
5,485عرض على GitHubComposer هو إطار عمل للتدريب الموزع في PyTorch مصمم لتوسيع نطاق النماذج الضخمة عبر مجموعات GPU متعددة العقد. يعمل كمدرب لنماذج اللغات الكبيرة، ومحسن نماذج موزع، ومدير لدورة حياة التدريب. يتميز المشروع كونه مكتبة لتنظيم التعلم العميق (regularization)، حيث يوفر تقنيات تحسين متخصصة مثل Sharpness Aware Minimization وMixUp وCutMix لتحسين تعميم النموذج. كما يميز تدفق التدريب الخاص به باستخدام تسخين طول التسلسل، وتجميد الطبقات التدريجي، وحفظ نقاط التحقق (checkpointing) المجزأة لاستعادة النماذج الضخمة. يغطي إطار العمل مساحة واسعة من القدرات بما في ذلك تنسيق التدريب الموزع، وإدارة الأجهزة ذات الدقة المختلطة، وبث البيانات السحابي. كما يوفر أدوات مراقبة وتشخيص واسعة النطاق لتشخيص ذاكرة GPU، واكتشاف تباعد التدريب، وتتبع الإنتاجية. يتضمن المشروع مشغلاً عبر سطر الأوامر لأتمتة تنفيذ مهام التدريب متعددة الـ GPU عبر العقد.
Implements small batch normalization simulation by splitting inputs into smaller chunks to mimic specific batch size effects.
Python
