Awesome GitHub RepositoriesWorkload Scheduling

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Talos is a minimal, immutable Linux distribution designed specifically for deploying and managing Kubernetes clusters. It functions as an API-driven infrastructure manager that replaces traditional shell access with a declarative gRPC interface to control operating system state and configuration. The system is distinguished by its use of a read-only root filesystem and a security-hardened kernel, which removes standard GNU utilities to reduce the attack surface. It ensures environment consistency by distributing the operating system as versioned, signed images and utilizes TPM-backed verified

The CNCF Curriculum is an open-source repository that organizes exam domains and learning paths for CNCF certification courses covering Kubernetes and cloud-native technologies. It structures certification content into weighted domains that reflect exam question distribution, providing a structured study guide for candidates preparing for CNCF certifications. The curriculum is organized around multiple cloud-native domains including networking, security, GitOps, platform engineering, and certification preparation. It teaches cloud-native concepts through the lens of building and operating int

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

Karmada es un orquestador multi-cluster de Kubernetes y gestor de clusters multi-cloud diseñado para desplegar y gestionar aplicaciones cloud-native a través de múltiples clusters y proveedores de nube. Sirve como un plano de control centralizado que funciona como un propagador de recursos y planificador de cargas de trabajo, coordinando recursos a través de nubes públicas, centros de datos on-premises y ubicaciones edge. El proyecto se distingue por un motor basado en políticas que distribuye aplicaciones utilizando afinidad, restricciones de topología y cuotas de recursos. Proporciona capacidades específicas para la recuperación ante desastres multi-región, incluyendo failover automatizado de aplicaciones y despliegues geo-redundantes para mantener la disponibilidad del servicio. Además, permite la sobrescritura de recursos consciente del cluster para especializar parámetros de configuración según la región o proveedor del cluster objetivo. El sistema cubre una amplia gama de áreas operativas, incluyendo sincronización de estado bidireccional, proxying de API agregado y planificación multidimensional. Incluye herramientas para la gestión del ciclo de vida del cluster, búsqueda global de recursos y balanceo de tráfico entre clusters. La instalación y gestión pueden realizarse mediante un proceso de instalación basado en operadores y una interfaz de línea de comandos dedicada para la administración y operaciones del plano de control.

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Kruise es un sistema de gestión de cargas de trabajo diseñado para aplicaciones a gran escala en Kubernetes. Proporciona un framework para estrategias avanzadas de orquestación, escalado y actualización para mantener la estabilidad en despliegues masivos. El proyecto destaca por su capacidad para realizar actualizaciones in-place de imágenes de contenedores y límites de recursos sin eliminar ni recrear pods. Incluye un pre-puller de imágenes dedicado para acelerar el inicio de pods y un inyector de sidecars para gestionar dinámicamente el ciclo de vida de los contenedores sidecar. Además, un distribuidor de recursos sincroniza mapas de configuración y secretos a través de múltiples namespaces para lograr consistencia en todo el clúster. El sistema cubre una amplia gama de áreas de capacidad, incluyendo la programación de pods consciente de la topología, despliegues canary con control de progreso basado en particiones y escalado automático de cargas de trabajo en múltiples dominios. También implementa protecciones de alta disponibilidad como límites de interrupción de aplicaciones, drenaje de tráfico elegante y prevención de eliminación en cascada. La visibilidad operativa se proporciona a través de exportación de métricas de recursos, monitoreo de plazos de despliegue y emisión de logs estructurados.

Cluster API is a declarative framework and multi-cluster management system for automating the creation, scaling, and destruction of Kubernetes clusters across diverse infrastructures. It acts as a cluster provisioning orchestrator and infrastructure provisioner, using a centralized management cluster to operate the full lifecycle of multiple remote workload clusters. The project employs a provider-based plugin architecture that decouples core orchestration logic from specific cloud or bare-metal implementations. This allows the system to standardize the deployment of control planes, the boots

FedML es una biblioteca de entrenamiento de aprendizaje automático distribuido, framework de aprendizaje federado y orquestador de cargas de trabajo de GPU. Proporciona los componentes centrales del sistema necesarios para ejecutar el entrenamiento y ajuste fino de modelos a gran escala en clústeres de GPU multi-nube, on-premise y descentralizados, ofreciendo además un motor dedicado para el despliegue escalable de modelos y un gestor de pipelines MLOps para la gestión del ciclo de vida de extremo a extremo. La plataforma se distingue por permitir el aprendizaje federado que preserva la privacidad en dispositivos edge descentralizados y silos organizacionales, manteniendo los datos sin procesar en el hardware local. También cuenta con un mercado de cómputo de agrupación de recursos que permite a los usuarios contribuir con capacidad de GPU no utilizada a un pool compartido para la ejecución de tareas distribuidas. El sistema cubre una amplia gama de capacidades, incluyendo orquestación de GPU multi-nube, gestión automatizada de pipelines de aprendizaje automático y despliegue de IA en el edge para dispositivos IoT y smartphones. Además, integra herramientas para el ajuste fino de modelos fundamentales, despliegue de inferencia de baja latencia y seguimiento de experimentos de entrenamiento con perfilado de rendimiento de hardware. Los usuarios pueden lanzar y programar cargas de trabajo utilizando una interfaz de línea de comandos y archivos de configuración declarativos.

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis

HAMi is a hardware orchestration and virtualization system designed to manage accelerators within Kubernetes. It functions as a device plugin that partitions physical hardware into isolated virtual slices, enabling multiple containers to share a single device through enforced memory limits and compute quotas. The project provides a virtualization manager and a heterogeneous compute scheduler that distributes tasks across diverse accelerator types. It uses packing and topology policies to optimize workload placement and allows for specific hardware targeting using unique device identifiers. T

Aurae is a memory-safe distributed systems runtime daemon written in Rust that acts as a container and process orchestrator. It manages and schedules workloads, containers, and virtual machines across distributed infrastructure nodes using remote procedure calls and isolated kernel-level boundaries. The platform provides a mutual transport-layer security gateway that enforces cryptographic identity and socket-level authentication across distributed infrastructure. It includes enterprise workload isolation features to secure control planes and manage multi-tenant processes on host operating sy

Este proyecto es un plugin de línea de comandos para Kubernetes que proporciona acceso directo a la shell root del sistema operativo host subyacente de un nodo de clúster. Está diseñado para facilitar tareas administrativas, mantenimiento del sistema y operaciones de diagnóstico en nodos, incluyendo aquellos que ejecutan sistemas operativos inmutables o optimizados para contenedores que carecen de entornos de shell nativos. La herramienta funciona programando dinámicamente pods efímeros y privilegiados que comparten los espacios de nombres de proceso, red y sistema de archivos del host. Al aprovechar las restricciones de afinidad de nodo, asegura que estas sesiones de diagnóstico se ejecuten en el host objetivo específico, permitiendo a los usuarios interactuar con el directorio raíz y los procesos del sistema del nodo como si estuvieran conectados localmente. Más allá de las sesiones de shell interactivas, la utilidad admite la ejecución remota de comandos para automatizar cambios de configuración o recuperar datos de diagnóstico en todo el clúster. También proporciona capacidades para adjuntar volúmenes de almacenamiento persistente a estos entornos temporales, permitiendo la recuperación de datos y la transferencia de información entre dispositivos de nodo locales y sistemas de almacenamiento externos.

The etcd-operator is a custom resource controller designed to automate the deployment, scaling, backup, and recovery of distributed key-value storage clusters on container orchestration platforms. By extending container orchestration APIs with custom resource definitions, the system manages multi-node database instances through declarative configuration files and a continuous controller reconciliation loop that drives cluster provisioning, scaling, and maintenance. The operator provides automated cluster member recovery, detecting unresponsive nodes and executing membership replacements to pr