Awesome GitHub RepositoriesDistributed Cluster Management

Apache Mesos 是一个分布式系统内核和集群资源管理器，抽象了节点池中的 CPU、内存和存储。它作为一个分布式基础设施编排器，提供了一个在共享物理或虚拟机器集上运行多个编排框架的层。 该系统充当资源隔离引擎，将共享集群划分为隔离的容器以并发运行各种工作负载。它实现了多框架编排，允许不同的分布式应用框架共享单个基础设施，从而最大化硬件利用率。 该项目涵盖了大规模计算分发和分布式集群管理。其功能包括管理分布式资源，并跨多个应用隔离计算能力，以防止干扰并确保共享服务器上的稳定性能。

m3 是一个分布式时间序列数据库，专为高分辨率指标和高基数数据管理而设计。它作为一个可扩展的存储系统和多集群查询引擎，提供了一个分布式指标聚合器，能够在数据提交到存储之前进行降采样和汇总。 该项目以其使用 etcd 进行节点成员管理和分片放置的协调集群模型而脱颖而出。它支持多种摄取协议，包括 Prometheus 远程写入协议、InfluxDB 行协议和 Graphite Carbon 纯文本协议，并提供与 PromQL 和 Graphite 兼容的查询接口。 该系统涵盖了广泛的功能领域，包括列式时间序列存储、同步数据复制和分布式查询扇出。它集成了数据生命周期自动化、基于法定人数 (Quorum) 的一致性调整，以及基于标签的序列索引，以在隔离的命名空间中保持数据完整性和检索速度。 集群编排和组件放置通过自动化工具和 Operator 进行管理，以确保高可用性和均衡的数据分布。

caddy-docker-proxy 是一个动态 HTTP 反向代理和 Docker 网络入口控制器，通过读取 Docker 容器的标签自动生成路由配置。它作为服务发现工具，实时检测容器 IP 地址，将传入的 Web 流量路由到正确的后端目标。 该项目是一个分布式代理编排器，能够将生成的配置从中央控制器推送到多个远程服务器实例，以扩展请求处理能力。它自动化了代理域名的 TLS 安全证书颁发和续期，并协调服务器副本之间的共享证书。 该系统支持基于标签的配置生成，使用模板和 Docker secrets 将元数据和全局设置注入服务器配置。它通过监听容器生命周期事件来保持同步，并利用进程内加载机制更新服务器行为。 流量管理功能包括定义请求路由规则、路径匹配和 URI 重写，以将流量引导至容器化资源。

Marathon 是一个 Apache Mesos 容器编排器和分布式工作负载管理器。它作为在分布式集群中部署和管理容器化应用与工作负载的框架。 该系统作为集群资源调度器，使用中心化控制平面将应用分配给可用资源。它通过基于约束的实例放置来区分其编排能力，根据节点属性或机架位置限制容器的部署位置，以确保高可用性。 该平台提供集群自动扩缩容和容器化服务发现功能，以便与负载均衡器集成。它包含一个使用网络探测触发自动恢复过程的健康监控系统，以及一个将实时集群事件流式传输到外部端点的通知系统。 管理界面通过身份验证和安全套接字层（SSL）加密进行保护。

Dinky is a real-time data platform for developing, deploying, and operating streaming applications based on Apache Flink. It functions as a SQL streaming IDE and a real-time data pipeline orchestrator, providing a web-based environment for writing and verifying queries with integrated logic plan visualization and lineage tracking. The platform acts as a distributed cluster manager, allowing the registration, monitoring, and administration of multiple processing clusters from a centralized interface. It also serves as a change data capture integration tool, synchronizing real-time database cha

Light Task Scheduler is a distributed job scheduling and workflow orchestration platform designed for managing background processing across scalable computing environments. It functions as a cluster management system that coordinates stateless nodes to execute recurring, cron-based, or one-time tasks with centralized control and high availability. The platform distinguishes itself through a leader-based coordination model that automatically elects a primary controller to manage task distribution and system state. It supports complex workflow dependencies, ensuring that prerequisite tasks comp