Awesome GitHub RepositoriesWorkload Scheduling

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Talos is a minimal, immutable Linux distribution designed specifically for deploying and managing Kubernetes clusters. It functions as an API-driven infrastructure manager that replaces traditional shell access with a declarative gRPC interface to control operating system state and configuration. The system is distinguished by its use of a read-only root filesystem and a security-hardened kernel, which removes standard GNU utilities to reduce the attack surface. It ensures environment consistency by distributing the operating system as versioned, signed images and utilizes TPM-backed verified

The CNCF Curriculum is an open-source repository that organizes exam domains and learning paths for CNCF certification courses covering Kubernetes and cloud-native technologies. It structures certification content into weighted domains that reflect exam question distribution, providing a structured study guide for candidates preparing for CNCF certifications. The curriculum is organized around multiple cloud-native domains including networking, security, GitOps, platform engineering, and certification preparation. It teaches cloud-native concepts through the lens of building and operating int

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

Karmada एक Kubernetes मल्टी-क्लस्टर ऑर्केस्ट्रेटर और मल्टी-क्लाउड क्लस्टर मैनेजर है जिसे कई क्लस्टर्स और क्लाउड प्रदाताओं में क्लाउड-नेटिव एप्लिकेशन को डिप्लॉय और मैनेज करने के लिए डिज़ाइन किया गया है। यह एक केंद्रीकृत कंट्रोल प्लेन के रूप में कार्य करता है जो एक संसाधन प्रोपेगेटर और वर्कलोड शेड्यूलर के रूप में कार्य करता है, जो पब्लिक क्लाउड, ऑन-प्रिमाइसेस डेटा सेंटर्स और एज लोकेशन्स में संसाधनों का समन्वय करता है। यह प्रोजेक्ट एक नीति-आधारित इंजन के माध्यम से खुद को अलग करता है जो आत्मीयता (affinity), टोपोलॉजी बाधाओं और संसाधन कोटा का उपयोग करके एप्लिकेशन वितरित करता है। यह सेवा उपलब्धता बनाए रखने के लिए स्वचालित एप्लिकेशन फ़ेलओवर और जियो-रिडंडेंट डिप्लॉयमेंट सहित मल्टी-रीजन डिज़ास्टर रिकवरी के लिए विशिष्ट क्षमताएं प्रदान करता है। इसके अतिरिक्त, यह लक्ष्य क्लस्टर क्षेत्र या प्रदाता के आधार पर कॉन्फ़िगरेशन पैरामीटर्स को विशेष बनाने के लिए क्लस्टर-अवेयर संसाधन ओवरराइडिंग की अनुमति देता है। यह सिस्टम परिचालन क्षेत्रों की एक विस्तृत श्रृंखला को कवर करता है, जिसमें द्विदिश राज्य सिंक्रोनाइज़ेशन, एग्रीगेटेड API प्रॉक्सीइंग और मल्टी-डायमेंशनल शेड्यूलिंग शामिल है। इसमें क्लस्टर लाइफ़साइकिल मैनेजमेंट, ग्लोबल संसाधन खोज और क्रॉस-क्लस्टर ट्रैफ़िक बैलेंसिंग के लिए टूल शामिल हैं। इंस्टॉलेशन और प्रबंधन एक ऑपरेटर-आधारित इंस्टॉलेशन प्रक्रिया और प्रशासन और कंट्रोल प्लेन ऑपरेशन्स के लिए एक समर्पित कमांड लाइन इंटरफ़ेस का उपयोग करके किया जा सकता है।

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Kruise is a workload management system designed for large-scale applications on Kubernetes. It provides a framework for advanced orchestration, scaling, and upgrade strategies to maintain stability in massive deployments. The project is distinguished by its ability to perform in-place updates of container images and resource limits without deleting and recreating pods. It includes a dedicated image pre-puller to accelerate pod startup and a sidecar injector to dynamically manage the lifecycle of sidecar containers. Additionally, a resource distributor synchronizes configuration maps and secre

Cluster API विभिन्न बुनियादी ढांचे में Kubernetes क्लस्टर के निर्माण, स्केलिंग और विनाश को स्वचालित करने के लिए एक घोषणात्मक फ्रेमवर्क और मल्टी-क्लस्टर प्रबंधन प्रणाली है। यह एक क्लस्टर प्रोविज़निंग ऑर्केस्ट्रेटर और इंफ्रास्ट्रक्चर प्रोविज़नर के रूप में कार्य करता है, जो कई रिमोट वर्कलोड क्लस्टर्स के पूर्ण लाइफसाइकिल को संचालित करने के लिए एक केंद्रीकृत प्रबंधन क्लस्टर का उपयोग करता है। प्रोजेक्ट एक प्रदाता-आधारित प्लगइन आर्किटेक्चर का उपयोग करता है जो विशिष्ट क्लाउड या बेयर-मेटल कार्यान्वयनों से मुख्य ऑर्केस्ट्रेशन लॉजिक को अलग करता है। यह सिस्टम को कंट्रोल प्लेन्स की तैनाती, नोड्स की बूटस्ट्रैपिंग, और सामान्य संसाधन अनुबंधों और API परिभाषाओं के एक सेट के माध्यम से बुनियादी ढांचे के प्रबंधन को मानकीकृत करने की अनुमति देता है। यह सिस्टम परिचालन क्षमताओं की एक विस्तृत सतह को कवर करता है, जिसमें मशीन फ्लीट ऑर्केस्ट्रेशन, कंट्रोल प्लेन स्केलिंग, और घोषणात्मक क्लस्टर अपग्रेड शामिल हैं। यह विफलता डोमेन वितरण, IP पता प्रबंधन, और प्रमाणपत्र रोटेशन जैसी निम्न-स्तरीय बुनियादी ढांचा आवश्यकताओं को भी संभालता है। डेवलपर टूल्स क्लस्टर सिमुलेशन, पोर्टेबल इंफ्रास्ट्रक्चर टेस्टिंग, और कस्टम बूटस्ट्रैप और इंफ्रास्ट्रक्चर प्रदाताओं के विकास के लिए प्रदान किए जाते हैं।

FedML is a distributed machine learning training library, federated learning framework, and GPU workload orchestrator. It provides the core system components necessary to execute large-scale model training and fine-tuning across multi-cloud, on-premise, and decentralized GPU clusters, while offering a dedicated engine for scalable model serving and an MLOps pipeline manager for end-to-end lifecycle management. The platform distinguishes itself by enabling privacy-preserving federated learning across decentralized edge devices and organizational silos, keeping raw data on local hardware. It al

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis

HAMi is a hardware orchestration and virtualization system designed to manage accelerators within Kubernetes. It functions as a device plugin that partitions physical hardware into isolated virtual slices, enabling multiple containers to share a single device through enforced memory limits and compute quotas. The project provides a virtualization manager and a heterogeneous compute scheduler that distributes tasks across diverse accelerator types. It uses packing and topology policies to optimize workload placement and allows for specific hardware targeting using unique device identifiers. T

Aurae is a memory-safe distributed systems runtime daemon written in Rust that acts as a container and process orchestrator. It manages and schedules workloads, containers, and virtual machines across distributed infrastructure nodes using remote procedure calls and isolated kernel-level boundaries. The platform provides a mutual transport-layer security gateway that enforces cryptographic identity and socket-level authentication across distributed infrastructure. It includes enterprise workload isolation features to secure control planes and manage multi-tenant processes on host operating sy

This project is a command-line plugin for Kubernetes that provides direct root shell access to the underlying host operating system of a cluster node. It is designed to facilitate administrative tasks, system maintenance, and diagnostic operations on nodes, including those running immutable or container-optimized operating systems that lack native shell environments. The tool functions by dynamically scheduling ephemeral, privileged pods that share the host's process, network, and filesystem namespaces. By leveraging node affinity constraints, it ensures that these diagnostic sessions are exe

The etcd-operator is a custom resource controller designed to automate the deployment, scaling, backup, and recovery of distributed key-value storage clusters on container orchestration platforms. By extending container orchestration APIs with custom resource definitions, the system manages multi-node database instances through declarative configuration files and a continuous controller reconciliation loop that drives cluster provisioning, scaling, and maintenance. The operator provides automated cluster member recovery, detecting unresponsive nodes and executing membership replacements to pr