Awesome GitHub RepositoriesWorkload Scheduling

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Talos is a minimal, immutable Linux distribution designed specifically for deploying and managing Kubernetes clusters. It functions as an API-driven infrastructure manager that replaces traditional shell access with a declarative gRPC interface to control operating system state and configuration. The system is distinguished by its use of a read-only root filesystem and a security-hardened kernel, which removes standard GNU utilities to reduce the attack surface. It ensures environment consistency by distributing the operating system as versioned, signed images and utilizes TPM-backed verified

The CNCF Curriculum is an open-source repository that organizes exam domains and learning paths for CNCF certification courses covering Kubernetes and cloud-native technologies. It structures certification content into weighted domains that reflect exam question distribution, providing a structured study guide for candidates preparing for CNCF certifications. The curriculum is organized around multiple cloud-native domains including networking, security, GitOps, platform engineering, and certification preparation. It teaches cloud-native concepts through the lens of building and operating int

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

Karmada est un orchestrateur multi-cluster Kubernetes et un gestionnaire de clusters multi-cloud conçu pour déployer et gérer des applications cloud-native à travers plusieurs clusters et fournisseurs cloud. Il sert de plan de contrôle centralisé qui fonctionne comme un propagateur de ressources et un ordonnanceur de charges de travail, coordonnant les ressources à travers les clouds publics, les centres de données sur site et les emplacements en périphérie (edge). Le projet se distingue par un moteur basé sur des politiques qui distribue les applications en utilisant l'affinité, les contraintes de topologie et les quotas de ressources. Il fournit des capacités spécifiques pour la reprise après sinistre multi-région, incluant le basculement automatisé des applications et des déploiements géo-redondants pour maintenir la disponibilité du service. De plus, il permet la surcharge de ressources consciente du cluster pour spécialiser les paramètres de configuration en fonction de la région ou du fournisseur du cluster cible. Le système couvre un large éventail de domaines opérationnels, incluant la synchronisation d'état bidirectionnelle, le proxying d'API agrégé et l'ordonnancement multidimensionnel. Il inclut des outils pour la gestion du cycle de vie des clusters, la recherche globale de ressources et l'équilibrage de trafic inter-cluster. L'installation et la gestion peuvent être effectuées en utilisant un processus d'installation basé sur un opérateur et une interface en ligne de commande dédiée pour l'administration et les opérations du plan de contrôle.

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Kruise est un système de gestion de charges de travail conçu pour les applications à grande échelle sur Kubernetes. Il fournit un framework pour l'orchestration avancée, la mise à l'échelle et les stratégies de mise à jour afin de maintenir la stabilité dans les déploiements massifs. Le projet se distingue par sa capacité à effectuer des mises à jour sur place des images de conteneurs et des limites de ressources sans supprimer ni recréer les pods. Il inclut un pré-extracteur d'images dédié pour accélérer le démarrage des pods et un injecteur de sidecar pour gérer dynamiquement le cycle de vie des conteneurs sidecar. De plus, un distributeur de ressources synchronise les configmaps et les secrets à travers plusieurs namespaces pour une cohérence à l'échelle du cluster. Le système couvre un large éventail de domaines de fonctionnalités, notamment la planification de pods tenant compte de la topologie, les déploiements canary avec contrôle de progression par partition, et l'autoscaling de charges de travail multi-domaines. Il implémente également des protections de haute disponibilité telles que les limites de perturbation des applications, le drainage gracieux du trafic et la prévention de la suppression en cascade. La visibilité opérationnelle est assurée par l'exportation de métriques de ressources, le suivi des délais de déploiement et l'émission de logs structurés.

Cluster API est un framework déclaratif et un système de gestion multi-cluster pour automatiser la création, la mise à l'échelle et la destruction de clusters Kubernetes à travers diverses infrastructures. Il agit comme un orchestrateur de provisionnement de cluster et un provisionneur d'infrastructure, utilisant un cluster de gestion centralisé pour opérer le cycle de vie complet de multiples clusters de travail distants. Le projet emploie une architecture de plugins basée sur des fournisseurs qui découple la logique d'orchestration centrale des implémentations cloud ou bare-metal spécifiques. Cela permet au système de standardiser le déploiement des plans de contrôle, l'initialisation des nœuds et la gestion de l'infrastructure via un ensemble de contrats de ressources communs et de définitions d'API. Le système couvre une large surface de capacités opérationnelles, incluant l'orchestration de flottes de machines, la mise à l'échelle du plan de contrôle et les mises à niveau déclaratives de clusters. Il gère également les exigences d'infrastructure de bas niveau telles que la distribution des domaines de défaillance, la gestion des adresses IP et la rotation des certificats. Des outils de développement sont fournis pour la simulation de clusters, les tests d'infrastructure portable et le développement de fournisseurs d'initialisation et d'infrastructure personnalisés.

FedML est une bibliothèque d'apprentissage automatique distribué, un framework d'apprentissage fédéré et un orchestrateur de charges de travail GPU. Il fournit les composants système essentiels pour exécuter l'entraînement et le fine-tuning de modèles à grande échelle sur des clusters GPU multi-cloud, sur site et décentralisés, tout en offrant un moteur dédié pour le déploiement de modèles évolutifs et un gestionnaire de pipeline MLOps pour la gestion du cycle de vie de bout en bout. La plateforme se distingue en permettant un apprentissage fédéré préservant la vie privée sur des appareils périphériques décentralisés et des silos organisationnels, en conservant les données brutes sur le matériel local. Elle propose également une place de marché de calcul par mise en commun de ressources qui permet aux utilisateurs de contribuer leur capacité GPU inutilisée à un pool partagé pour l'exécution de tâches distribuées. Le système couvre un large éventail de capacités, notamment l'orchestration GPU multi-cloud, la gestion automatisée des pipelines d'apprentissage automatique et le déploiement d'IA en périphérie pour les appareils IoT et les smartphones. Il intègre en outre des outils pour le fine-tuning de modèles fondamentaux, le déploiement d'inférence à faible latence et le suivi des expériences d'entraînement avec profilage des performances matérielles. Les utilisateurs peuvent lancer et planifier des charges de travail à l'aide d'une interface en ligne de commande et de fichiers de configuration déclaratifs.

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis

HAMi is a hardware orchestration and virtualization system designed to manage accelerators within Kubernetes. It functions as a device plugin that partitions physical hardware into isolated virtual slices, enabling multiple containers to share a single device through enforced memory limits and compute quotas. The project provides a virtualization manager and a heterogeneous compute scheduler that distributes tasks across diverse accelerator types. It uses packing and topology policies to optimize workload placement and allows for specific hardware targeting using unique device identifiers. T

Aurae is a memory-safe distributed systems runtime daemon written in Rust that acts as a container and process orchestrator. It manages and schedules workloads, containers, and virtual machines across distributed infrastructure nodes using remote procedure calls and isolated kernel-level boundaries. The platform provides a mutual transport-layer security gateway that enforces cryptographic identity and socket-level authentication across distributed infrastructure. It includes enterprise workload isolation features to secure control planes and manage multi-tenant processes on host operating sy

Ce projet est un plugin en ligne de commande pour Kubernetes qui fournit un accès root direct au shell du système d'exploitation hôte sous-jacent d'un nœud de cluster. Il est conçu pour faciliter les tâches administratives, la maintenance système et les opérations de diagnostic sur les nœuds, y compris ceux exécutant des systèmes d'exploitation immuables ou optimisés pour les conteneurs qui manquent d'environnements shell natifs. L'outil fonctionne en planifiant dynamiquement des pods éphémères et privilégiés qui partagent les espaces de noms de processus, réseau et système de fichiers de l'hôte. En tirant parti des contraintes d'affinité de nœud, il garantit que ces sessions de diagnostic sont exécutées sur l'hôte cible spécifique, permettant aux utilisateurs d'interagir avec le répertoire racine et les processus système du nœud comme s'ils étaient connectés localement. Au-delà des sessions shell interactives, l'utilitaire prend en charge l'exécution de commandes à distance pour automatiser les changements de configuration ou récupérer des données de diagnostic à travers le cluster. Il fournit également des capacités pour attacher des volumes de stockage persistants à ces environnements temporaires, permettant la récupération de données et le transfert d'informations entre les périphériques locaux du nœud et les systèmes de stockage externes.

The etcd-operator is a custom resource controller designed to automate the deployment, scaling, backup, and recovery of distributed key-value storage clusters on container orchestration platforms. By extending container orchestration APIs with custom resource definitions, the system manages multi-node database instances through declarative configuration files and a continuous controller reconciliation loop that drives cluster provisioning, scaling, and maintenance. The operator provides automated cluster member recovery, detecting unresponsive nodes and executing membership replacements to pr