Awesome GitHub RepositoriesDistributed ML Pipeline Managers

Flyte is a distributed machine learning pipeline manager and MLOps workflow engine. It functions as a Kubernetes-native orchestrator used to coordinate data, models, and compute resources for executing machine learning pipelines and autonomous agents at scale. The platform provides specialized infrastructure for the full machine learning lifecycle, including a dedicated model serving platform to deploy trained models as scalable production-ready inference services. It also enables the coordination and state management of autonomous AI agents. The system manages scalable pipeline execution th

SynapseML هي مكتبة تعلم آلة لـ Apache Spark مصممة لبناء وتوسيع سير عمل تعلم الآلة وخطوط أنابيب البيانات عبر المجموعات الموزعة. تعمل كإطار عمل لخط أنابيب تعلم الآلة الموزع ومحرك استدلال موزع لتنفيذ التنبؤات المسرعة بالأجهزة ومهام التعلم العميق على مجموعات بيانات واسعة النطاق. يعمل المشروع كطبقة تكامل للذكاء الاصطناعي السحابي، مما يسمح للمستخدمين بتطبيق خدمات الذكاء الاصطناعي المدربة مسبقاً للنصوص والرؤية والكلام داخل خطوط الأنابيب الموزعة. كما يتضمن مجموعة مخصصة من الأدوات للكشف الموزع عن الشذوذ لتحديد القيم المتطرفة متعددة المتغيرات والسلاسل الزمنية عبر البيانات عالية الأبعاد. تغطي المكتبة مجموعة واسعة من القدرات، بما في ذلك الرؤية الحاسوبية الموزعة لتحليل الوجوه والصور، ومعالجة اللغات الطبيعية القابلة للتوسع لتحليلات النصوص والترجمة، وتدريب أشجار القرار المعززة بالتدرج. توفر أدوات للبحث عن التشابه عبر نمذجة الجار الأقرب (k-nearest neighbor)، وقابلية تفسير النموذج من خلال إسناد الميزات، وتنسيق سير عمل التعلم التعزيزي. يستخدم النظام بنية خط أنابيب قابلة للتركيب ويدعم استدلال النموذج القائم على ONNX للتوافق عبر المنصات.

Mmlspark هو إطار عمل موزع لتنفيذ نماذج تعلم الآلة، وتحويلات البيانات، وتكاملات خدمات الذكاء الاصطناعي عبر مجموعات Apache Spark. يعمل كمكتبة تعلم آلة موزعة ومنسق خط أنابيب، مما يسمح للمستخدمين بدمج الخدمات المعرفية المدربة مسبقاً والنماذج المخصصة في سير عمل الدفعات والتدفق واسع النطاق. يتميز المشروع بقدرته على دمج خدمات الذكاء الاصطناعي الخارجية وواجهات برمجة تطبيقات الويب مباشرة في خطوط أنابيب البيانات الضخمة لتحليل النصوص والرؤية. يوفر إطار عمل تدريب نموذج قابل للتوسع ينسق مهام تعزيز التدرج والتصنيف عبر مجموعات حوسبة قابلة للتغيير الحجم بمرونة، مستفيداً من تسريع الأجهزة لاستدلال النموذج الموزع. تغطي مجموعة الأدوات مجموعة واسعة من القدرات بما في ذلك تحليل المحتوى متعدد الوسائط للصور والكلام والنصوص، بالإضافة إلى الكشف المتقدم عن الشذوذ للسلاسل الزمنية والبيانات متعددة المتغيرات. تتضمن أدوات لتهيئة البيانات، وتنفيذ نماذج ONNX، وأدوات الذكاء الاصطناعي المسؤول لتدقيق عدالة النموذج وتفسير التنبؤ باستخدام قيم المساهمة المضافة. يوفر إطار العمل أيضاً واجهة وصول موحدة للبيانات للقراءة والكتابة عبر قواعد بيانات وأنظمة تخزين سحابية متنوعة.

Deep Java Library هو إطار عمل تعلم عميق لـ Java ومحرك استنتاج نماذج JVM. يوفر واجهة برمجة تطبيقات عالية المستوى لبناء ونشر نماذج التعلم العميق داخل نظام Java البيئي، ويعمل كبيئة تشغيل عبر الأنظمة الأساسية لتنفيذ النماذج عبر وحدات المعالجة المركزية (CPUs)، ووحدات معالجة الرسومات (GPUs)، والأجهزة المحمولة. المكتبة محايدة للمحرك، مما يسمح للمستخدمين بالتبديل بين محركات تعلم عميق مختلفة مثل PyTorch، وTensorFlow، وMXNet مع الحفاظ على واجهة برمجة تطبيقات موحدة واحدة. يتيح ذلك نشر نفس النموذج عبر خلفيات مختلفة دون تغيير كود التطبيق. يدعم إطار العمل دورة حياة التعلم الآلي الكاملة، بما في ذلك بناء وتدريب معماريات الشبكات العصبية وتنفيذ الاستنتاج في الوقت الفعلي. يتضمن إمكانيات لاستنتاج التعلم الآلي الموزع لتوسيع نطاق التنبؤات عبر خطوط أنابيب البيانات الضخمة والقدرة على نشر النماذج كخدمات مصغرة أو داخل تطبيقات العميل. يغطي النظام مجموعة واسعة من المجالات، بما في ذلك رؤية الكمبيوتر لاكتشاف الوجوه وتصنيف الصور، ومعالجة اللغات الطبيعية لتحليل المشاعر وتضمينات الجمل.

Stable-audio-tools is a toolkit for training and deploying latent diffusion models for high-fidelity audio synthesis. It provides a framework for generating audio by iteratively refining noise within a compressed latent space, using specialized encoders to preserve temporal and spectral features of the audio signal. The project features a system for adapting pre-trained audio checkpoints to new datasets through modular initialization and configuration files. It includes utilities for weight extraction and inference model export, which remove training metadata and optimizer states to create li