1 مستودع
Awesome GitHub RepositoriesLinear Operator Factorization
Decomposition of large linear layers into smaller operators to reduce the number of computations.
Distinct from Linear Operation Representations: Shortlist candidates focus on graph representation or regression rather than layer decomposition for efficiency.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Linear Operator Factorization. Refine with filters or upvote what's useful.
Awesome Linear Operator Factorization GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- mosaicml/composer
mosaicml/composer
5,485عرض على GitHubComposer هو إطار عمل للتدريب الموزع في PyTorch مصمم لتوسيع نطاق النماذج الضخمة عبر مجموعات GPU متعددة العقد. يعمل كمدرب لنماذج اللغات الكبيرة، ومحسن نماذج موزع، ومدير لدورة حياة التدريب. يتميز المشروع كونه مكتبة لتنظيم التعلم العميق (regularization)، حيث يوفر تقنيات تحسين متخصصة مثل Sharpness Aware Minimization وMixUp وCutMix لتحسين تعميم النموذج. كما يميز تدفق التدريب الخاص به باستخدام تسخين طول التسلسل، وتجميد الطبقات التدريجي، وحفظ نقاط التحقق (checkpointing) المجزأة لاستعادة النماذج الضخمة. يغطي إطار العمل مساحة واسعة من القدرات بما في ذلك تنسيق التدريب الموزع، وإدارة الأجهزة ذات الدقة المختلطة، وبث البيانات السحابي. كما يوفر أدوات مراقبة وتشخيص واسعة النطاق لتشخيص ذاكرة GPU، واكتشاف تباعد التدريب، وتتبع الإنتاجية. يتضمن المشروع مشغلاً عبر سطر الأوامر لأتمتة تنفيذ مهام التدريب متعددة الـ GPU عبر العقد.
Decomposes large linear layers into smaller operators to reduce the number of computations.
Python
