Awesome GitHub RepositoriesWorkload Scheduling

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Talos is a minimal, immutable Linux distribution designed specifically for deploying and managing Kubernetes clusters. It functions as an API-driven infrastructure manager that replaces traditional shell access with a declarative gRPC interface to control operating system state and configuration. The system is distinguished by its use of a read-only root filesystem and a security-hardened kernel, which removes standard GNU utilities to reduce the attack surface. It ensures environment consistency by distributing the operating system as versioned, signed images and utilizes TPM-backed verified

The CNCF Curriculum is an open-source repository that organizes exam domains and learning paths for CNCF certification courses covering Kubernetes and cloud-native technologies. It structures certification content into weighted domains that reflect exam question distribution, providing a structured study guide for candidates preparing for CNCF certifications. The curriculum is organized around multiple cloud-native domains including networking, security, GitOps, platform engineering, and certification preparation. It teaches cloud-native concepts through the lens of building and operating int

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

Karmada ist ein Kubernetes-Multi-Cluster-Orchestrator und Multi-Cloud-Cluster-Manager für das Deployment und Management Cloud-nativer Anwendungen über mehrere Cluster und Cloud-Provider hinweg. Er fungiert als zentralisierte Control Plane, die als Ressourcen-Propagator und Workload-Scheduler arbeitet und Ressourcen über Public Clouds, On-Premises-Rechenzentren und Edge-Standorte hinweg koordiniert. Das Projekt zeichnet sich durch eine richtlinienbasierte Engine aus, die Anwendungen unter Verwendung von Affinity, Topologie-Constraints und Ressourcen-Quotas verteilt. Es bietet spezifische Funktionen für Multi-Region-Disaster-Recovery, einschließlich automatisiertem Application-Failover und geo-redundanten Deployments zur Aufrechterhaltung der Serviceverfügbarkeit. Zudem ermöglicht es cluster-bewusstes Ressourcen-Overriding, um Konfigurationsparameter basierend auf der Ziel-Cluster-Region oder dem Provider zu spezialisieren. Das System deckt ein breites Spektrum operativer Bereiche ab, einschließlich bidirektionaler State-Synchronisation, aggregiertem API-Proxying und mehrdimensionalem Scheduling. Es enthält Tools für Cluster-Lifecycle-Management, globale Ressourcensuche und Cross-Cluster-Traffic-Balancing. Installation und Management können über einen Operator-basierten Installationsprozess und ein dediziertes CLI für Administration und Control-Plane-Operationen durchgeführt werden.

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Kruise ist ein Workload-Management-System für groß angelegte Anwendungen auf Kubernetes. Es bietet ein Framework für fortgeschrittene Orchestrierung, Skalierung und Upgrade-Strategien, um die Stabilität in massiven Deployments zu gewährleisten. Das Projekt zeichnet sich durch die Fähigkeit aus, In-Place-Updates von Container-Images und Ressourcenlimits durchzuführen, ohne Pods löschen und neu erstellen zu müssen. Es enthält einen dedizierten Image-Pre-Puller zur Beschleunigung des Pod-Starts und einen Sidecar-Injector zur dynamischen Verwaltung des Lebenszyklus von Sidecar-Containern. Zusätzlich synchronisiert ein Resource-Distributor ConfigMaps und Secrets über mehrere Namespaces hinweg für clusterweite Konsistenz. Das System deckt ein breites Spektrum an Funktionsbereichen ab, darunter topologiebewusstes Pod-Scheduling, Canary-Rollouts mit partitionsbasierter Fortschrittskontrolle und Multi-Domain-Workload-Autoscaling. Es implementiert zudem Hochverfügbarkeitsschutzmaßnahmen wie Application Disruption Limits, Graceful Traffic Draining und Schutz vor kaskadierenden Löschvorgängen. Operative Sichtbarkeit wird durch den Export von Ressourcenmetriken, die Überwachung von Rollout-Deadlines und strukturierte Log-Ausgabe gewährleistet.

Cluster API is a declarative framework and multi-cluster management system for automating the creation, scaling, and destruction of Kubernetes clusters across diverse infrastructures. It acts as a cluster provisioning orchestrator and infrastructure provisioner, using a centralized management cluster to operate the full lifecycle of multiple remote workload clusters. The project employs a provider-based plugin architecture that decouples core orchestration logic from specific cloud or bare-metal implementations. This allows the system to standardize the deployment of control planes, the boots

FedML ist eine Bibliothek für verteiltes Machine Learning-Training, ein Framework für Federated Learning und ein Orchestrator für GPU-Workloads. Es bietet die Kernsystemkomponenten, die für die Ausführung von groß angelegtem Modelltraining und Fine-Tuning über Multi-Cloud-, On-Premise- und dezentrale GPU-Cluster hinweg erforderlich sind, und bietet zudem eine dedizierte Engine für skalierbares Model-Serving sowie einen MLOps-Pipeline-Manager für das End-to-End-Lifecycle-Management. Die Plattform zeichnet sich dadurch aus, dass sie datenschutzfreundliches Federated Learning über dezentrale Edge-Geräte und organisatorische Silos hinweg ermöglicht, wobei Rohdaten auf der lokalen Hardware verbleiben. Sie bietet zudem einen Compute-Marktplatz für Ressourcen-Pooling, der es Benutzern ermöglicht, ungenutzte GPU-Kapazitäten für die verteilte Aufgabenausführung in einen gemeinsamen Pool einzubringen. Das System deckt ein breites Spektrum an Funktionen ab, darunter Multi-Cloud-GPU-Orchestrierung, automatisiertes Machine-Learning-Pipeline-Management und Edge-AI-Deployment für IoT-Geräte und Smartphones. Zudem integriert es Tools für das Fine-Tuning von Foundation-Modellen, Deployment von Inferenz mit geringer Latenz und das Tracking von Trainingsexperimenten mit Hardware-Performance-Profiling. Benutzer können Workloads über eine Command-Line-Interface und deklarative Konfigurationsdateien starten und planen.

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis

HAMi is a hardware orchestration and virtualization system designed to manage accelerators within Kubernetes. It functions as a device plugin that partitions physical hardware into isolated virtual slices, enabling multiple containers to share a single device through enforced memory limits and compute quotas. The project provides a virtualization manager and a heterogeneous compute scheduler that distributes tasks across diverse accelerator types. It uses packing and topology policies to optimize workload placement and allows for specific hardware targeting using unique device identifiers. T

Aurae is a memory-safe distributed systems runtime daemon written in Rust that acts as a container and process orchestrator. It manages and schedules workloads, containers, and virtual machines across distributed infrastructure nodes using remote procedure calls and isolated kernel-level boundaries. The platform provides a mutual transport-layer security gateway that enforces cryptographic identity and socket-level authentication across distributed infrastructure. It includes enterprise workload isolation features to secure control planes and manage multi-tenant processes on host operating sy

Dieses Projekt ist ein CLI-Plugin für Kubernetes, das direkten Root-Shell-Zugriff auf das zugrunde liegende Host-Betriebssystem eines Cluster-Nodes bietet. Es wurde entwickelt, um administrative Aufgaben, Systemwartung und Diagnoseoperationen auf Nodes zu erleichtern, einschließlich solcher, die auf unveränderlichen oder Container-optimierten Betriebssystemen laufen, denen native Shell-Umgebungen fehlen. Das Tool funktioniert durch die dynamische Planung ephemerer, privilegierter Pods, die die Prozess-, Netzwerk- und Dateisystem-Namespaces des Hosts teilen. Durch die Nutzung von Node-Affinity-Constraints stellt es sicher, dass diese Diagnosesitzungen auf dem spezifischen Ziel-Host ausgeführt werden, wodurch Benutzer mit dem Root-Verzeichnis und den Systemprozessen des Nodes interagieren können, als wären sie lokal eingeloggt. Über interaktive Shell-Sitzungen hinaus unterstützt das Utility die Remote-Befehlsausführung zur Automatisierung von Konfigurationsänderungen oder zum Abrufen von Diagnosedaten über den Cluster hinweg. Es bietet zudem Funktionen zum Anhängen persistenter Speicher-Volumes an diese temporären Umgebungen, was die Datenwiederherstellung und den Informationstransfer zwischen lokalen Node-Geräten und externen Speichersystemen ermöglicht.

The etcd-operator is a custom resource controller designed to automate the deployment, scaling, backup, and recovery of distributed key-value storage clusters on container orchestration platforms. By extending container orchestration APIs with custom resource definitions, the system manages multi-node database instances through declarative configuration files and a continuous controller reconciliation loop that drives cluster provisioning, scaling, and maintenance. The operator provides automated cluster member recovery, detecting unresponsive nodes and executing membership replacements to pr