Awesome GitHub RepositoriesGPU Workload Orchestration

FedML ist eine Bibliothek für verteiltes Machine Learning-Training, ein Framework für Federated Learning und ein Orchestrator für GPU-Workloads. Es bietet die Kernsystemkomponenten, die für die Ausführung von groß angelegtem Modelltraining und Fine-Tuning über Multi-Cloud-, On-Premise- und dezentrale GPU-Cluster hinweg erforderlich sind, und bietet zudem eine dedizierte Engine für skalierbares Model-Serving sowie einen MLOps-Pipeline-Manager für das End-to-End-Lifecycle-Management. Die Plattform zeichnet sich dadurch aus, dass sie datenschutzfreundliches Federated Learning über dezentrale Edge-Geräte und organisatorische Silos hinweg ermöglicht, wobei Rohdaten auf der lokalen Hardware verbleiben. Sie bietet zudem einen Compute-Marktplatz für Ressourcen-Pooling, der es Benutzern ermöglicht, ungenutzte GPU-Kapazitäten für die verteilte Aufgabenausführung in einen gemeinsamen Pool einzubringen. Das System deckt ein breites Spektrum an Funktionen ab, darunter Multi-Cloud-GPU-Orchestrierung, automatisiertes Machine-Learning-Pipeline-Management und Edge-AI-Deployment für IoT-Geräte und Smartphones. Zudem integriert es Tools für das Fine-Tuning von Foundation-Modellen, Deployment von Inferenz mit geringer Latenz und das Tracking von Trainingsexperimenten mit Hardware-Performance-Profiling. Benutzer können Workloads über eine Command-Line-Interface und deklarative Konfigurationsdateien starten und planen.

This project is a Kubernetes device plugin designed for graphics hardware resource management. It implements a standardized plugin protocol to register physical accelerators with the cluster scheduler, enabling the automated allocation and scheduling of hardware-accelerated workloads. The system focuses on multi-tenant GPU sharing to maximize hardware utilization. It achieves this through various sharing strategies, including the logical partitioning of monolithic hardware units into isolated segments and time-slicing to interleave execution cycles across multiple concurrent containers. The