Awesome GitHub RepositoriesDistributed Cluster Management

Apache Mesos es un kernel de sistemas distribuidos y gestor de recursos de clúster que abstrae CPU, memoria y almacenamiento a través de un grupo de nodos. Funciona como un orquestador de infraestructura distribuida, proporcionando una capa para ejecutar múltiples frameworks de orquestación en un conjunto compartido de máquinas físicas o virtuales. El sistema actúa como un motor de aislamiento de recursos, dividiendo un clúster compartido en contenedores aislados para ejecutar diversas cargas de trabajo simultáneamente. Permite la orquestación multi-framework, permitiendo que diferentes frameworks de aplicaciones distribuidas compartan una sola infraestructura para maximizar la utilización del hardware. El proyecto cubre la distribución de cómputo a gran escala y la gestión de clústeres distribuidos. Sus capacidades incluyen la gestión de recursos distribuidos y el aislamiento de la potencia de cómputo a través de múltiples aplicaciones para evitar interferencias y garantizar un rendimiento estable en servidores compartidos.

m3 es una base de datos de series temporales distribuida, diseñada para métricas de alta resolución y gestión de datos de alta cardinalidad. Funciona como un sistema de almacenamiento escalable y un motor de consultas multiclúster, proporcionando un agregador de métricas distribuido capaz de realizar downsampling y resumir datos antes de que se confirmen en el almacenamiento. El proyecto se distingue por un modelo de clúster coordinado que utiliza etcd para la pertenencia a nodos y la colocación de shards. Soporta múltiples protocolos de ingesta, incluyendo el protocolo de escritura remota de Prometheus, el protocolo de línea de InfluxDB y el protocolo de texto plano de Graphite Carbon, y proporciona interfaces de consulta compatibles para PromQL y Graphite. El sistema cubre amplias áreas de capacidad, incluyendo almacenamiento de series temporales en columnas, replicación de datos síncrona y distribución de consultas (fan-out) distribuida. Incorpora automatización del ciclo de vida de los datos, ajuste de consistencia basado en quórum e indexación de series basada en etiquetas para mantener la integridad de los datos y la velocidad de recuperación en espacios de nombres aislados. La orquestación del clúster y la colocación de componentes se gestionan mediante herramientas y operadores automatizados para garantizar la alta disponibilidad y una distribución equilibrada de los datos.

caddy-docker-proxy es un proxy inverso HTTP dinámico y controlador de entrada (ingress) de red de Docker que genera automáticamente configuraciones de enrutamiento leyendo etiquetas de los contenedores de Docker. Sirve como herramienta de descubrimiento de servicios que detecta las direcciones IP de los contenedores en tiempo real para enrutar el tráfico web entrante a los destinos de backend correctos. El proyecto funciona como un orquestador de proxy distribuido, capaz de enviar configuraciones generadas desde un controlador central a múltiples instancias de servidor remotas para escalar el manejo de solicitudes. Automatiza la emisión y renovación de certificados de seguridad TLS para dominios proxy y coordina certificados compartidos entre réplicas de servidores. El sistema admite la generación de configuración basada en etiquetas, utilizando plantillas y secretos de Docker para inyectar metadatos y configuraciones globales en la configuración del servidor. Mantiene la sincronización escuchando los eventos del ciclo de vida del contenedor y utiliza un mecanismo de carga en proceso para actualizar el comportamiento del servidor. Las capacidades de gestión de tráfico incluyen la definición de reglas de enrutamiento de solicitudes, coincidencia de rutas y reescritura de URI para dirigir el tráfico a recursos contenedorizados.

Marathon es un orquestador de contenedores de Apache Mesos y gestor de cargas de trabajo distribuidas. Sirve como framework para desplegar y gestionar aplicaciones y cargas de trabajo contenerizadas a través de un clúster distribuido. El sistema funciona como un programador de recursos de clúster que asigna aplicaciones a los recursos disponibles utilizando un plano de control centralizado. Se distingue en su orquestación mediante la colocación de instancias basada en restricciones, lo que limita dónde se despliegan los contenedores según los atributos del nodo o la ubicación en el rack para garantizar la alta disponibilidad. La plataforma proporciona capacidades para el escalado automático de clústeres y el descubrimiento de servicios contenerizados para integrarse con balanceadores de carga. Incluye un sistema de monitoreo de salud que utiliza sondas de red para activar procesos de recuperación automática y un sistema de notificación que transmite eventos del clúster en tiempo real a endpoints externos. Las interfaces de gestión están protegidas mediante autenticación y cifrado SSL.

Dinky is a real-time data platform for developing, deploying, and operating streaming applications based on Apache Flink. It functions as a SQL streaming IDE and a real-time data pipeline orchestrator, providing a web-based environment for writing and verifying queries with integrated logic plan visualization and lineage tracking. The platform acts as a distributed cluster manager, allowing the registration, monitoring, and administration of multiple processing clusters from a centralized interface. It also serves as a change data capture integration tool, synchronizing real-time database cha

Light Task Scheduler is a distributed job scheduling and workflow orchestration platform designed for managing background processing across scalable computing environments. It functions as a cluster management system that coordinates stateless nodes to execute recurring, cron-based, or one-time tasks with centralized control and high availability. The platform distinguishes itself through a leader-based coordination model that automatically elects a primary controller to manage task distribution and system state. It supports complex workflow dependencies, ensuring that prerequisite tasks comp