Awesome GitHub RepositoriesGPU Workload Orchestration

FedML 是一个分布式机器学习训练库、联邦学习框架和 GPU 工作负载编排器。它提供了在多云、本地和去中心化 GPU 集群上执行大规模模型训练和微调所需的核心系统组件，同时为可扩展的模型服务提供专用引擎，并为端到端生命周期管理提供 MLOps 流水线管理器。 该平台的独特之处在于支持跨去中心化边缘设备和组织孤岛的隐私保护联邦学习，将原始数据保留在本地硬件上。它还具有资源池化计算市场，允许用户将未使用的 GPU 容量贡献给共享池以进行分布式任务执行。 该系统涵盖了广泛的功能，包括多云 GPU 编排、自动化机器学习流水线管理以及针对物联网设备和智能手机的边缘 AI 部署。它进一步集成了用于基础模型微调、低延迟推理部署以及带有硬件性能分析的训练实验追踪工具。 用户可以使用命令行界面和声明式配置文件来启动和调度工作负载。

This project is a Kubernetes device plugin designed for graphics hardware resource management. It implements a standardized plugin protocol to register physical accelerators with the cluster scheduler, enabling the automated allocation and scheduling of hardware-accelerated workloads. The system focuses on multi-tenant GPU sharing to maximize hardware utilization. It achieves this through various sharing strategies, including the logical partitioning of monolithic hardware units into isolated segments and time-slicing to interleave execution cycles across multiple concurrent containers. The