1 مستودع
Awesome GitHub RepositoriesParallel Data Loading
High-throughput data streaming implementations using multiprocessing to bypass framework bottlenecks.
Distinct from Python Data Pipeline Frameworks: Focuses on the parallel execution of data loading specifically for ML pipelines, rather than general batch workflow orchestration.
Explore 1 awesome GitHub repository matching data & databases · Parallel Data Loading. Refine with filters or upvote what's useful.
Awesome Parallel Data Loading GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- tensorpack/tensorpack
tensorpack/tensorpack
6,287عرض على GitHubTensorpack هو إطار عمل شبكة عصبية TensorFlow عالي المستوى ومكتبة بحثية مصممة لبناء وتدريب نماذج التعلم العميق. يوفر مجموعة من بنيات الشبكات العصبية القابلة للتكرار للرؤية الحاسوبية، والمهام التوليدية، والتعلم التعزيزي، ومعالجة اللغات الطبيعية. يتميز المشروع بخط معالجة بيانات تعلم عميق متخصص يستخدم Python الخالص لتحميل البيانات المتوازي والبث. ويتضمن منسق تدريب متعدد وحدات GPU لتوزيع أعباء العمل عبر استراتيجيات موازية للبيانات ومجموعة أدوات قابلية تفسير مخصصة لتصور خرائط بروز وتنشيط النموذج. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك خطوط معالجة الرؤية الحاسوبية لاكتشاف الكائنات والتجزئة الدلالية، ونمذجة التسلسل للكلام والنص، وتطوير وكيل التعلم التعزيزي. كما يوفر أدوات تحسين النموذج لتكميم الأوزان والتدريب منخفض البت، إلى جانب مرافق لإعادة إنتاج الأوراق البحثية الأكاديمية وتحويل أوزان نموذج Caffe القديمة.
Uses pure Python multiprocessing to stream datasets into the computation graph, bypassing framework-specific pipeline constraints.
Python
