Awesome GitHub RepositoriesDistributed Job Executors

xxl-job is a distributed task scheduling platform and job orchestrator designed to manage and trigger timed jobs across a cluster of remote executor nodes. It provides a centralized system for scheduling tasks, linking dependent jobs, and managing complex execution lifecycles through a relational database that persists configurations and logs. The platform distinguishes itself through a web-based interface for cron job management, allowing users to create and update scheduled tasks without modifying source code. It supports cross-language task execution by triggering logic on third-party exec

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

Azkaban es un gestor de flujos de trabajo distribuido y orquestador de trabajos basado en DAG, diseñado como un procesador de lotes empresarial. Sirve como un motor de flujo de trabajo basado en Java que programa y ejecuta secuencias complejas de trabajos a través de un cluster de servidores ejecutores, con funcionalidad específica para gestionar cargas de trabajo de big data en clusters Hadoop. El sistema se distingue por un modelo de ejecutor distribuido que coordina el estado a través de una base de datos compartida para asegurar la alta disponibilidad. Emplea una arquitectura basada en plugins que permite tipos de trabajo personalizados y extensiones de funcionalidad del sistema, incluyendo la capacidad de recargar plugins en caliente sin reiniciar los servidores ejecutores. La plataforma cubre una amplia gama de capacidades, incluyendo la orquestación de pipelines de datos con lógica condicional, programación periódica y basada en eventos, y monitoreo empresarial con seguimiento de SLA. Proporciona control de acceso granular y suplantación de identidad de usuario para una ejecución segura, junto con herramientas de gestión de tráfico para el balanceo de carga de ejecutores y cuotas de recursos. Los usuarios pueden gestionar los flujos de trabajo a través de una interfaz basada en web o programáticamente mediante una API de ejecución de flujos de trabajo.

Slurm es un gestor de cargas de trabajo de clúster y programador de tareas diseñado para entornos de computación de alto rendimiento. Funciona como un orquestador de computación distribuida que pone en cola y ejecuta tareas computacionales a gran escala a través de múltiples nodos de cómputo en un clúster. El sistema actúa como un árbitro de recursos, distribuyendo nodos de hardware y procesadores entre usuarios concurrentes para evitar conflictos de recursos y maximizar la eficiencia. Coordina el lanzamiento simultáneo de múltiples procesos a través de diferentes servidores físicos para ejecutar trabajos paralelos y cargas de trabajo científicas. La plataforma cubre amplias áreas de capacidad, incluyendo la programación de trabajos por lotes (batch), la asignación de recursos de cómputo y la ejecución de cargas de trabajo paralelas. Gestiona el tiempo y la ejecución de los trabajos en función de la disponibilidad de recursos y la prioridad.

This project provides a containerized environment for deploying Apache Airflow, enabling the orchestration of complex data pipelines and automated task scheduling. By packaging the orchestration platform into portable images, it ensures consistent execution across diverse infrastructure setups and simplifies the management of runtime dependencies. The platform facilitates distributed task execution by decoupling the scheduler from the execution layer, allowing for horizontal scaling of processing power across multiple worker nodes. It supports dynamic configuration through environment variabl

proxy.py is a lightweight, dependency-free HTTP and reverse proxy framework built in Python that handles network traffic through asynchronous event loops and multi-core connection distribution. It acts as a customizable proxy server and embedded web server, allowing developers to inspect, route, and modify web traffic programmatically or via command-line execution wrappers. The platform provides in-flight TLS interception and traffic decryption using generated root certificates, alongside modular extension hooks that support custom dashboard interfaces, request handling plugins, and REST API

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse