Awesome GitHub RepositoriesGPU Resource Allocators

pysheeet est une bibliothèque de référence technique fournissant une collection organisée d'extraits de code et de modèles d'implémentation pour le développement Python avancé, l'intégration système et le calcul haute performance. Il sert de guide complet pour implémenter la programmation réseau de bas niveau, les extensions C natives, et la programmation asynchrone et concurrente. Le projet fournit des frameworks spécialisés pour le développement et le déploiement de grands modèles de langage, y compris des outils pour l'inférence GPU distribuée et le service haute performance. Il inclut également des modèles détaillés pour l'orchestration de clusters de calcul haute performance, couvrant l'allocation des ressources GPU et la gestion des charges de travail multi-nœuds. La bibliothèque couvre une large surface de capacités, y compris la communication réseau sécurisée et la cryptographie, l'ORM et la gestion de base de données, et l'implémentation de structures de données et d'algorithmes complexes. Elle fournit également des utilitaires pour la gestion de la mémoire, l'interopérabilité native via des interfaces de fonctions étrangères (FFI) et l'intégration au niveau du système d'exploitation.

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ClearML is a comprehensive MLOps platform designed to manage the entire machine learning lifecycle. It functions as an experiment tracking tool, a data versioning system, and a pipeline orchestrator, while providing infrastructure for GPU cluster management and model serving. The platform is distinguished by its ability to handle hybrid-cloud compute scheduling and fractional GPU allocation, allowing multiple workloads to share a single hardware accelerator. It employs a metadata-based approach to data versioning, using virtual views to track large datasets and artifacts without duplicating r

Nuclio is a high-performance serverless framework designed for Kubernetes that automatically executes user functions when events arrive from HTTP endpoints, message queues, or streaming data platforms. It processes hundreds of thousands of events per second per function instance through efficient parallel workers, and can allocate functions to run on either CPU or GPU hardware to match workload requirements for data processing or machine learning tasks. The platform scales function instances down to zero when idle and wakes them on demand based on incoming event load, while providing an event

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Quip Node Manager est une interface utilisateur graphique conçue pour déployer, surveiller et configurer les nœuds du réseau Quip et leurs piles de conteneurs associées. Il sert de tableau de bord d'orchestration de conteneurs qui permet aux utilisateurs de gérer des services applicatifs interconnectés sans utiliser d'outils en ligne de commande. Le projet dispose d'un gestionnaire d'accélération matérielle pour mapper des ressources de calcul CPU et GPU spécifiques à l'environnement d'exécution et gérer la mémoire des périphériques. Il inclut un validateur de préparation système pour vérifier la disponibilité des outils de conteneur et l'accessibilité des ports réseau avant d'initier la pile applicative, ainsi qu'un gestionnaire de proxy inverse qui acquiert et renouvelle automatiquement les certificats de sécurité via DNS et vérification par email. Le logiciel fournit des capacités pour le déploiement automatisé de nœuds, le streaming de logs d'exécution en temps réel et la surveillance des mises à jour logicielles. Il suit les digests d'images et les versions d'applications à intervalles fixes pour déclencher des redémarrages automatiques du système lorsque des mises à jour sont disponibles.

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

Cube Studio est une plateforme MLOps cloud-native et un orchestrateur d'IA basé sur Kubernetes, conçu pour l'ensemble du cycle de vie du machine learning. Il fournit un framework d'entraînement distribué pour le fine-tuning de modèles à grande échelle, un gestionnaire de ressources GPU pour la virtualisation matérielle, et un orchestrateur de pipelines ML qui utilise des graphes orientés acycliques visuels pour gérer les workflows de bout en bout. La plateforme se distingue par son serveur d'inférence LLM spécialisé, qui prend en charge la génération augmentée par récupération (RAG) et la construction de bases de connaissances privées. Elle dispose d'un système dédié au fine-tuning supervisé et à l'apprentissage par renforcement des grands modèles de langage, complété par des outils de recherche d'hyperparamètres visuels. Le système couvre un large éventail de capacités opérationnelles, incluant l'étiquetage de données multimodales, les pipelines de données distribués et la planification de charges de travail multi-cluster. Il fournit également des environnements de développement interactifs par navigateur, la gestion d'images de conteneurs et un registre de modèles pour le versioning et le déploiement d'API d'inférence scalables avec répartition de trafic. L'infrastructure inclut une surveillance de la santé des clusters intégrée et un contrôle d'accès basé sur les rôles (RBAC) avec intégration SSO.

FedML est une bibliothèque d'apprentissage automatique distribué, un framework d'apprentissage fédéré et un orchestrateur de charges de travail GPU. Il fournit les composants système essentiels pour exécuter l'entraînement et le fine-tuning de modèles à grande échelle sur des clusters GPU multi-cloud, sur site et décentralisés, tout en offrant un moteur dédié pour le déploiement de modèles évolutifs et un gestionnaire de pipeline MLOps pour la gestion du cycle de vie de bout en bout. La plateforme se distingue en permettant un apprentissage fédéré préservant la vie privée sur des appareils périphériques décentralisés et des silos organisationnels, en conservant les données brutes sur le matériel local. Elle propose également une place de marché de calcul par mise en commun de ressources qui permet aux utilisateurs de contribuer leur capacité GPU inutilisée à un pool partagé pour l'exécution de tâches distribuées. Le système couvre un large éventail de capacités, notamment l'orchestration GPU multi-cloud, la gestion automatisée des pipelines d'apprentissage automatique et le déploiement d'IA en périphérie pour les appareils IoT et les smartphones. Il intègre en outre des outils pour le fine-tuning de modèles fondamentaux, le déploiement d'inférence à faible latence et le suivi des expériences d'entraînement avec profilage des performances matérielles. Les utilisateurs peuvent lancer et planifier des charges de travail à l'aide d'une interface en ligne de commande et de fichiers de configuration déclaratifs.