Awesome GitHub RepositoriesTraining Speed Optimizations

هذا المشروع عبارة عن إطار عمل لاكتشاف الكائنات في PyTorch ينفذ بنية Faster R-CNN. يعمل كنموذج رؤية للتنبؤ بصناديق التحديد الدقيقة حول كائنات متعددة داخل الصور وتدفقات الفيديو الحية. تم تحسين النظام للتدريب متعدد الـ GPU لتقليل الوقت المطلوب لتقارب النموذج. يستخدم تصميماً مسرعاً بواسطة GPU للتعامل مع تدريب واستنتاج شبكات الاكتشاف المعقدة. يغطي إطار العمل دورة حياة اكتشاف الكائنات الكاملة، بما في ذلك تدريب الشبكة المخصص والاستنتاج للصور الثابتة وتدفقات الفيديو في الوقت الفعلي. يتضمن قدرات للتحقق من أداء النموذج باستخدام مجموعات بيانات قياسية، بالإضافة إلى تحسينات التدريب مثل التجميع القائم على نسبة العرض إلى الارتفاع وأحمال العمل الموزعة.

Tensorpack هو إطار عمل تدريب TensorFlow عالي الأداء ومجموعة أدوات تعلم عميق موزعة. يوفر مجموعة من الأدوات لبناء وتدريب الشبكات العصبية مع التركيز على سرعة التنفيذ ومرونة البنية. يعمل المشروع كجناح لتحسين الشبكات العصبية، حيث يطبق أنماط تنفيذ عالية الكفاءة لتقليل حمل التدريب. ويعمل كخط معالجة بيانات متوازي، باستخدام التوازي التلقائي لزيادة معدل النقل عند معالجة مجموعات البيانات الكبيرة. تغطي مجموعة الأدوات التدريب الموزع عبر وحدات GPU متعددة ومجموعات الحوسبة باستخدام استراتيجيات موازية للبيانات. تشمل قدراتها معالجة مجموعات البيانات واسعة النطاق وتحسين الأداء لزيادة معدل نقل التدريب.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

FlagAI is a distributed deep learning framework and platform designed for the end-to-end lifecycle of large-scale foundation models. It provides a toolkit for training, fine-tuning, and deploying large language models and multi-modal systems across multi-node computing clusters. The project features hardware-agnostic compute abstractions to ensure consistent execution across different accelerators. It includes a dedicated library for parameter-efficient fine-tuning, allowing large neural networks to be adapted to specific tasks with minimal parameter updates and reduced computational overhead