Awesome GitHub RepositoriesCustom Task Executors

xxl-job is a distributed task scheduling platform and job orchestrator designed to manage and trigger timed jobs across a cluster of remote executor nodes. It provides a centralized system for scheduling tasks, linking dependent jobs, and managing complex execution lifecycles through a relational database that persists configurations and logs. The platform distinguishes itself through a web-based interface for cron job management, allowing users to create and update scheduled tasks without modifying source code. It supports cross-language task execution by triggering logic on third-party exec

This project is a build orchestration engine and development toolkit designed for managing large-scale monorepos. It provides a unified workspace environment that maps project relationships and dependencies, enabling the system to perform intelligent impact analysis and execute only the tasks affected by specific code changes. The system distinguishes itself through a persistent daemon that monitors file changes for near-instant feedback and a content-addressable caching mechanism that stores task outputs to prevent redundant computation across local and remote environments. It further suppor

Tilt is a Kubernetes development orchestrator and containerized workflow manager that automates the build, deploy, and update loop for cloud-native services. It functions as an infrastructure-as-code environment, defining the entire local development setup as versioned code to synchronize local source changes with cluster deployments. The project distinguishes itself by offering live container updates, which sync files directly into running containers to bypass full image rebuilds and redeployments. It includes a cloud-native development dashboard for monitoring resource health, streaming agg

This project is a framework for developing multimodal AI agents that function as programmable participants in real-time communication rooms. It enables the construction of agents that can see, hear, and speak by integrating speech-to-text, large language models, and text-to-speech pipelines to facilitate low-latency, natural conversations. The system is distinguished by its advanced orchestration of real-time media and conversational flow, including support for full-duplex speech, preemptive response generation, and sophisticated interruption management. It further differentiates itself throu

Spin is a WebAssembly serverless framework and development toolchain for building and running portable microservices. It functions as an event-driven orchestrator and runtime that executes WebAssembly components, allowing developers to map HTTP requests, Redis messages, and cron schedules to specific modules. The project distinguishes itself by implementing a Wasm-based AI inference gateway, enabling components to perform model inference and generate text embeddings. It utilizes the WebAssembly Component Model and WASI for language-agnostic composition and portable host interfacing, while emp

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

MSBuild es un motor de construcción de .NET y sistema de automatización de construcción de software que transforma el código fuente en aplicaciones desplegables. Utiliza un sistema de proyecto declarativo basado en un esquema XML estructurado para definir elementos de construcción, propiedades y objetivos utilizados en todo el ecosistema .NET y Visual Studio. El sistema cuenta con un framework de tareas de construcción personalizable que permite la implementación de tareas y registradores personalizados para realizar operaciones específicas de construcción de software. Esta extensibilidad permite la creación de lógica especializada para modificar el comportamiento del proceso de construcción. El motor gestiona la automatización de la construcción mediante un modelo de ejecución basado en tareas y una orquestación de flujo de trabajo consciente de las dependencias. Sus capacidades cubren la compilación de software .NET, el despliegue de frameworks de destino múltiple y el seguimiento de construcción incremental. Además, proporciona una interfaz de línea de comandos para anulaciones de configuración y un sistema de registro para capturar la salida de la construcción.

Mindcraft es un framework para conectar modelos de lenguaje grandes a clientes de juegos para crear personajes autónomos que se comunican y realizan acciones dentro de un entorno simulado. Funciona como un orquestador para bots, utilizando un sistema que une instrucciones de IA de alto nivel con paquetes de protocolo de juego de bajo nivel para permitir la ejecución de tareas dentro del juego. El sistema utiliza generación aumentada por recuperación para seleccionar historial de conversación relevante y ejemplos de código a través de recuperación de contexto basada en embeddings. Admite el desarrollo de perfiles de IA específicos a través de configuraciones de perfil y facilita la coordinación multi-agente, permitiendo que múltiples personajes autónomos colaboren a través del lenguaje natural y el intercambio de recursos para lograr objetivos compartidos. El framework incluye un sistema de tareas orientado a objetivos que descompone objetivos complejos en pasos procedimentales y los valida contra estados del mundo. Proporciona capacidades para la orquestación de mundos paralelos para ejecutar experimentos concurrentes a través de entornos aislados, junto con integración de texto a voz para la narración de audio en tiempo real de las acciones de los agentes. El proyecto incluye utilidades para importar archivos de mundo personalizados y sincronizar archivos de registro y configuraciones recopilados con almacenamiento en la nube remoto.

Sbt es una herramienta de compilación de JVM y sistema de gestión de dependencias diseñado para Scala y Java. Funciona como un orquestador de compilación multi-proyecto que gestiona la compilación del código fuente, resuelve librerías externas de repositorios remotos y empaqueta binarios para su distribución. El proyecto se distingue por su sistema de compilación interactivo, que proporciona un bucle de lectura-evaluación-impresión (REPL) para la inspección de estado en tiempo real y la ejecución de tareas. Utiliza un modelo de ejecución basado en grafos de dependencias para procesar tareas y mantiene un almacén clave-valor con seguridad de tipos para la configuración dinámica de la compilación. Sus capacidades cubren la automatización de compilación de JVM con recompilación incremental, organización de proyectos modulares y ejecución automatizada de pruebas. El sistema también admite compilación entre versiones, publicación de artefactos en almacenamiento en la nube y un modelo de plugin extensible para añadir lógica de compilación personalizada.

Azkaban es un gestor de flujos de trabajo distribuido y orquestador de trabajos basado en DAG, diseñado como un procesador de lotes empresarial. Sirve como un motor de flujo de trabajo basado en Java que programa y ejecuta secuencias complejas de trabajos a través de un cluster de servidores ejecutores, con funcionalidad específica para gestionar cargas de trabajo de big data en clusters Hadoop. El sistema se distingue por un modelo de ejecutor distribuido que coordina el estado a través de una base de datos compartida para asegurar la alta disponibilidad. Emplea una arquitectura basada en plugins que permite tipos de trabajo personalizados y extensiones de funcionalidad del sistema, incluyendo la capacidad de recargar plugins en caliente sin reiniciar los servidores ejecutores. La plataforma cubre una amplia gama de capacidades, incluyendo la orquestación de pipelines de datos con lógica condicional, programación periódica y basada en eventos, y monitoreo empresarial con seguimiento de SLA. Proporciona control de acceso granular y suplantación de identidad de usuario para una ejecución segura, junto con herramientas de gestión de tráfico para el balanceo de carga de ejecutores y cuotas de recursos. Los usuarios pueden gestionar los flujos de trabajo a través de una interfaz basada en web o programáticamente mediante una API de ejecución de flujos de trabajo.

OpenSquilla es un framework de orquestación de agentes LLM diseñado para coordinar flujos de trabajo de IA de varios pasos y la ejecución de herramientas mediante grafos acíclicos dirigidos. Funciona como un sistema centralizado para gestionar paquetes de habilidades especializadas y ejecutar secuencias de razonamiento complejas. El proyecto se distingue por una pasarela de enrutamiento que dirige las tareas a diferentes proveedores de IA según la complejidad, el coste y el rendimiento. Utiliza un sistema de memoria de IA de varios niveles que organiza el conocimiento de trabajo, episódico y semántico mediante embeddings locales y SQLite, junto con un sandbox de ejecución seguro que aísla el código generado por el agente mediante perfiles de permisos basados en riesgos. La plataforma cubre una amplia gama de capacidades, incluyendo despliegue multicanal en web y plataformas de mensajería, programación automatizada de tareas mediante cron y un puente de Model Context Protocol para conectar con herramientas externas. También proporciona herramientas integrales de monitoreo y observabilidad para rastrear costes de tokens, auditar decisiones en tiempo de ejecución y gestionar un catálogo de habilidades reutilizables. El sistema incluye utilidades de línea de comandos para la inicialización del espacio de trabajo y la gestión del ciclo de vida de las habilidades.

Slurm es un gestor de cargas de trabajo de clúster y programador de tareas diseñado para entornos de computación de alto rendimiento. Funciona como un orquestador de computación distribuida que pone en cola y ejecuta tareas computacionales a gran escala a través de múltiples nodos de cómputo en un clúster. El sistema actúa como un árbitro de recursos, distribuyendo nodos de hardware y procesadores entre usuarios concurrentes para evitar conflictos de recursos y maximizar la eficiencia. Coordina el lanzamiento simultáneo de múltiples procesos a través de diferentes servidores físicos para ejecutar trabajos paralelos y cargas de trabajo científicas. La plataforma cubre amplias áreas de capacidad, incluyendo la programación de trabajos por lotes (batch), la asignación de recursos de cómputo y la ejecución de cargas de trabajo paralelas. Gestiona el tiempo y la ejecución de los trabajos en función de la disponibilidad de recursos y la prioridad.

This project provides a containerized environment for deploying Apache Airflow, enabling the orchestration of complex data pipelines and automated task scheduling. By packaging the orchestration platform into portable images, it ensures consistent execution across diverse infrastructure setups and simplifies the management of runtime dependencies. The platform facilitates distributed task execution by decoupling the scheduler from the execution layer, allowing for horizontal scaling of processing power across multiple worker nodes. It supports dynamic configuration through environment variabl

proxy.py is a lightweight, dependency-free HTTP and reverse proxy framework built in Python that handles network traffic through asynchronous event loops and multi-core connection distribution. It acts as a customizable proxy server and embedded web server, allowing developers to inspect, route, and modify web traffic programmatically or via command-line execution wrappers. The platform provides in-flight TLS interception and traffic decryption using generated root certificates, alongside modular extension hooks that support custom dashboard interfaces, request handling plugins, and REST API

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse

Lighteval is an open-source framework for running standardized benchmarks and custom evaluation tasks against language models. It provides a system for defining new evaluation tasks with custom prompts, metrics, and scoring in YAML configuration files, and integrates with the Hugging Face Hub for storing and comparing results. The framework supports evaluating models across multiple inference backends, including transformers, vllm, and custom APIs, through a unified generation and log-probability interface. It includes a pluggable metric registry for built-in and custom scoring, a prediction

Este proyecto proporciona un boilerplate fundamental para construir aplicaciones web full-stack que conectan interfaces frontend de React a servicios backend de GraphQL. Sirve como un entorno estructurado para que los desarrolladores inicialicen componentes de cliente y servidor, asegurando una arquitectura unificada para software basado en datos. El framework enfatiza un enfoque de diseño de API basado en esquemas (schema-first), permitiendo un modelado de datos consistente en toda la pila. Incluye plantillas preconfiguradas que integran capacidades de autenticación y suscripciones en tiempo real, junto con middleware modular para gestionar el manejo de solicitudes y la transformación de datos. El kit de herramientas automatiza los flujos de trabajo de desarrollo comunes, incluyendo la gestión de esquemas de bases de datos, la ejecución de servidores locales y el andamiaje (scaffolding) de proyectos. Estos scripts y estructuras de directorios estandarizados están diseñados para acelerar la configuración de nuevos servicios mientras mantienen patrones estándar de la comunidad para la obtención de datos, la normalización del estado local y la depuración de API.

Screwdriver es una plataforma de entrega continua diseñada para orquestar flujos de trabajo automatizados de compilación, prueba y despliegue. Funciona como un orquestador de compilación contenerizado que gestiona todo el ciclo de vida de entrega, desde la activación de pipelines basada en eventos hasta la ejecución de tareas dentro de entornos de contenedores aislados y conectables. La plataforma se distingue por una arquitectura modular que desacopla la lógica de compilación de los recursos informáticos subyacentes, permitiendo una ejecución consistente en diversas infraestructuras. Proporciona una gestión robusta de la configuración de pipelines, permitiendo a los equipos definir, versionar y compartir plantillas de compilación reutilizables. Este sistema cuenta además con servicios de identidad integrales, incluyendo integración con OAuth y control de acceso granular para secretos de pipeline y tokens programáticos. Más allá de la orquestación central, la plataforma ofrece amplias herramientas de observabilidad, incluyendo transmisión de registros en tiempo real, análisis de métricas de rendimiento y seguimiento del estado de compilación. Admite flujos de trabajo de equipo complejos a través de la organización de colecciones de pipelines y espacios de trabajo compartidos, manteniendo la estabilidad del sistema mediante la limitación de solicitudes y la gestión de estado persistente en bases de datos relacionales. El sistema está diseñado para su despliegue dentro de clústeres de Kubernetes, utilizando plantillas de empaquetado estandarizadas para arrancar la plataforma y sus componentes de infraestructura requeridos.