Awesome GitHub RepositoriesShared Compute Pools

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

gpustack este o platformă de gestionare a clusterelor GPU și un orchestrator de inferență LLM. Acesta funcționează ca un sistem centralizat pentru pooling-ul și orchestrarea unităților de procesare grafică pe servere locale și medii cloud, servind drept manager de calcul eterogen pentru diverse configurații hardware și software. Sistemul oferă un gateway securizat de implementare a modelelor AI care servește modelele ca servicii scalabile folosind autentificarea bazată pe chei. Include un scheduler de resurse GPU care echilibrează sarcinile de lucru pe acceleratoare și coordonează mai multe motoare de inferență pentru a mapa modele AI specifice pe hardware compatibil. Platforma acoperă orchestrarea cuprinzătoare a clusterelor, inclusiv recuperarea automată în caz de eșec, monitorizarea resurselor în timp real și scalarea inferenței distribuite. Încorporează optimizarea performanței prin cuantizare și decodare speculativă pentru a maximiza throughput-ul și a reduce latența. Configurațiile sistemului și starea clusterului sunt menținute prin persistența stării într-o bază de date relațională externă.

FedML este o bibliotecă distribuită de antrenare a modelelor de machine learning, un framework de învățare federată și un orchestrator de sarcini GPU. Acesta oferă componentele de sistem de bază necesare pentru a executa antrenarea și fine-tuning-ul modelelor la scară largă pe clustere GPU multi-cloud, on-premise și descentralizate, oferind în același timp un motor dedicat pentru servirea scalabilă a modelelor și un manager de pipeline MLOps pentru gestionarea întregului ciclu de viață. Platforma se distinge prin activarea învățării federate cu conservarea confidențialității pe dispozitive edge descentralizate și silozuri organizaționale, păstrând datele brute pe hardware-ul local. De asemenea, dispune de o piață de calcul cu partajare a resurselor care permite utilizatorilor să contribuie cu capacitate GPU neutilizată la un pool partajat pentru execuția sarcinilor distribuite. Sistemul acoperă o gamă largă de capabilități, inclusiv orchestrarea GPU multi-cloud, gestionarea automatizată a pipeline-urilor de machine learning și implementarea AI la nivel de edge pentru dispozitive IoT și smartphone-uri. De asemenea, integrează instrumente pentru fine-tuning-ul modelelor fundamentale, implementarea inferenței cu latență scăzută și monitorizarea experimentelor de antrenare cu profilarea performanței hardware. Utilizatorii pot lansa și programa sarcini folosind o interfață în linie de comandă și fișiere de configurare declarative.