Awesome GitHub RepositoriesGPU Resource Allocators

pysheeet هي مكتبة مرجعية تقنية توفر مجموعة مختارة من مقتطفات التعليمات البرمجية وأنماط التنفيذ لتطوير Python المتقدم، وتكامل النظام، والحوسبة عالية الأداء. تعمل كدليل شامل لتنفيذ برمجة الشبكات منخفضة المستوى، وإضافات C الأصلية، والبرمجة غير المتزامنة والمتزامنة. يوفر المشروع أطر عمل متخصصة لتطوير ونشر نماذج اللغات الكبيرة، بما في ذلك أدوات لاستنتاج GPU الموزع والخدمة عالية الأداء. يتضمن أيضاً أنماطاً مفصلة لتنظيم مجموعات الحوسبة عالية الأداء، وتغطية تخصيص موارد GPU وإدارة عبء العمل متعدد العقد. تغطي المكتبة سطحاً واسعاً من القدرات، بما في ذلك اتصالات الشبكة الآمنة والتشفير، والتعيين الكائني-العلائقي وإدارة قواعد البيانات، وتنفيذ هياكل البيانات والخوارزميات المعقدة. كما توفر أدوات لإدارة الذاكرة، وقابلية التشغيل البيني الأصلية عبر واجهات الوظائف الخارجية، وتكامل نظام التشغيل على مستوى النظام.

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ClearML is a comprehensive MLOps platform designed to manage the entire machine learning lifecycle. It functions as an experiment tracking tool, a data versioning system, and a pipeline orchestrator, while providing infrastructure for GPU cluster management and model serving. The platform is distinguished by its ability to handle hybrid-cloud compute scheduling and fractional GPU allocation, allowing multiple workloads to share a single hardware accelerator. It employs a metadata-based approach to data versioning, using virtual views to track large datasets and artifacts without duplicating r

Nuclio is a high-performance serverless framework designed for Kubernetes that automatically executes user functions when events arrive from HTTP endpoints, message queues, or streaming data platforms. It processes hundreds of thousands of events per second per function instance through efficient parallel workers, and can allocate functions to run on either CPU or GPU hardware to match workload requirements for data processing or machine learning tasks. The platform scales function instances down to zero when idle and wakes them on demand based on incoming event load, while providing an event

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Quip Node Manager هي واجهة مستخدم رسومية مصممة لنشر ومراقبة وتهيئة عقد شبكة Quip ومجموعات الحاويات المرتبطة بها. تعمل كلوحة تحكم لتنسيق الحاويات تسمح للمستخدمين بإدارة خدمات التطبيقات المترابطة دون استخدام أدوات سطر الأوامر. يتميز المشروع بمدير تسريع الأجهزة لتعيين موارد حوسبة CPU وGPU محددة لبيئة وقت التشغيل وإدارة ذاكرة الجهاز. يتضمن مدققاً لجاهزية النظام للتحقق من توفر أداة الحاوية وإمكانية الوصول إلى منفذ الشبكة قبل بدء تشغيل مجموعة التطبيقات، بالإضافة إلى مدير وكيل عكسي يقوم تلقائياً بالحصول على شهادات الأمان وتجديدها عبر DNS والتحقق من البريد الإلكتروني. يوفر البرنامج إمكانيات للنشر التلقائي للعقد، وبث سجلات وقت التشغيل في الوقت الفعلي، ومراقبة تحديثات البرامج. يتتبع ملخصات الصور وإصدارات التطبيقات على فترات زمنية ثابتة لتشغيل عمليات إعادة تشغيل النظام التلقائية عند توفر تحديثات.

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

Cube Studio هو منصة MLOps سحابية ومنظم ذكاء اصطناعي يعتمد على Kubernetes ومصمم لدورة حياة تعلم الآلة بالكامل. يوفر إطار عمل للتدريب الموزع لضبط النماذج على نطاق واسع، ومدير موارد GPU لافتراضية الأجهزة، ومنظم لخطوط أنابيب تعلم الآلة يستخدم رسوم بيانية موجهة غير دورية (DAGs) لإدارة سير العمل من البداية إلى النهاية. تتميز المنصة بخادم استنتاج LLM متخصص يدعم التوليد المعزز بالاسترجاع (RAG) وبناء قواعد المعرفة الخاصة. كما يتميز بنظام مخصص للضبط الخاضع للإشراف والتعلم التعزيزي لنماذج اللغات الكبيرة، مدعوماً بأدوات مرئية للبحث عن المعاملات الفائقة (Hyperparameters). يغطي النظام نطاقاً واسعاً من القدرات التشغيلية، بما في ذلك تصنيف البيانات متعددة الوسائط، وخطوط أنابيب البيانات الموزعة، وجدولة أحمال العمل عبر مجموعات متعددة. كما يوفر بيئات تطوير تفاعلية تعتمد على المتصفح، وإدارة صور الحاويات، وسجل نماذج لإصدار ونشر واجهات برمجة تطبيقات استنتاج قابلة للتوسع مع تقسيم حركة المرور. تتضمن البنية التحتية مراقبة صحة المجموعات (Cluster Health) والتحكم في الوصول القائم على الأدوار مع تكامل تسجيل الدخول الموحد (SSO).

FedML is a distributed machine learning training library, federated learning framework, and GPU workload orchestrator. It provides the core system components necessary to execute large-scale model training and fine-tuning across multi-cloud, on-premise, and decentralized GPU clusters, while offering a dedicated engine for scalable model serving and an MLOps pipeline manager for end-to-end lifecycle management. The platform distinguishes itself by enabling privacy-preserving federated learning across decentralized edge devices and organizational silos, keeping raw data on local hardware. It al