Awesome GitHub RepositoriesShared Compute Pools

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

gpustack est une plateforme de gestion de cluster GPU et un orchestrateur d'inférence LLM. Il fonctionne comme un système centralisé pour mettre en commun et orchestrer les unités de traitement graphique à travers les serveurs locaux et les environnements cloud, servant de gestionnaire de calcul hétérogène pour diverses configurations matérielles et logicielles. Le système fournit une passerelle de déploiement de modèle IA sécurisée qui sert les modèles en tant que services évolutifs en utilisant une authentification basée sur des clés. Il inclut un planificateur de ressources GPU qui équilibre les charges de travail à travers les accélérateurs et coordonne plusieurs moteurs d'inférence pour mapper des modèles IA spécifiques à un matériel compatible. La plateforme couvre une orchestration de cluster complète, y compris la récupération automatique en cas de défaillance, la surveillance des ressources en temps réel et la mise à l'échelle de l'inférence distribuée. Elle intègre l'optimisation des performances par la quantification et le décodage spéculatif pour maximiser le débit et réduire la latence. Les configurations système et l'état du cluster sont maintenus via la persistance de l'état de la base de données relationnelle externe.

FedML est une bibliothèque d'apprentissage automatique distribué, un framework d'apprentissage fédéré et un orchestrateur de charges de travail GPU. Il fournit les composants système essentiels pour exécuter l'entraînement et le fine-tuning de modèles à grande échelle sur des clusters GPU multi-cloud, sur site et décentralisés, tout en offrant un moteur dédié pour le déploiement de modèles évolutifs et un gestionnaire de pipeline MLOps pour la gestion du cycle de vie de bout en bout. La plateforme se distingue en permettant un apprentissage fédéré préservant la vie privée sur des appareils périphériques décentralisés et des silos organisationnels, en conservant les données brutes sur le matériel local. Elle propose également une place de marché de calcul par mise en commun de ressources qui permet aux utilisateurs de contribuer leur capacité GPU inutilisée à un pool partagé pour l'exécution de tâches distribuées. Le système couvre un large éventail de capacités, notamment l'orchestration GPU multi-cloud, la gestion automatisée des pipelines d'apprentissage automatique et le déploiement d'IA en périphérie pour les appareils IoT et les smartphones. Il intègre en outre des outils pour le fine-tuning de modèles fondamentaux, le déploiement d'inférence à faible latence et le suivi des expériences d'entraînement avec profilage des performances matérielles. Les utilisateurs peuvent lancer et planifier des charges de travail à l'aide d'une interface en ligne de commande et de fichiers de configuration déclaratifs.