Awesome GitHub RepositoriesDataflow Dependency Scheduling

MXNet is a deep learning framework and distributed machine learning engine designed for training and deploying neural networks. It functions as a hardware-agnostic backend that allows for the development of deep learning models through a hybrid of symbolic and imperative programming. The system distinguishes itself through automatic distributed parallelism, which scales training workloads across multiple GPUs and machines. It features an extensible hardware backend interface that enables the integration of custom accelerators and proprietary libraries without modifying the core source code.

Azkaban هو مدير سير عمل موزع ومنسق وظائف قائم على DAG مصمم كمعالج دفعات للمؤسسات. يعمل كمحرك سير عمل قائم على Java يقوم بجدولة وتنفيذ تسلسلات وظائف معقدة عبر مجموعة من خوادم التنفيذ، مع وظائف محددة لإدارة أحمال عمل البيانات الضخمة على عناقيد Hadoop. يتميز النظام بنموذج تنفيذ موزع ينسق الحالة عبر قاعدة بيانات مشتركة لضمان التوفر العالي. يستخدم بنية قائمة على الإضافات تسمح بأنواع وظائف مخصصة وامتدادات وظائف النظام، بما في ذلك القدرة على إعادة تحميل الإضافات دون إعادة تشغيل خوادم التنفيذ. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع المنطق الشرطي، والجدولة الدورية والقائمة على الأحداث، ومراقبة المؤسسة مع تتبع SLA. يوفر تحكماً دقيقاً في الوصول وانتحال هوية المستخدم للتنفيذ الآمن، إلى جانب أدوات إدارة حركة المرور لموازنة تحميل التنفيذ وحصص الموارد. يمكن للمستخدمين إدارة سير العمل من خلال واجهة قائمة على الويب أو برمجياً عبر API تنفيذ سير العمل.