Awesome GitHub RepositoriesDependency-Aware Task Orchestration

Cpp-taskflow is a C++ task-parallelism framework and task graph scheduler designed to manage and execute complex dependency graphs of parallel tasks across CPU and GPU hardware. It provides a parallel algorithm library for high-performance implementations of reductions, sorts, pipelines, and iterations. The framework distinguishes itself through its ability to offload heavy computational workloads from a task graph to graphics processors for acceleration. It also includes a task profiling tool and a performance analysis interface for visualizing task execution flow and dependency structures t

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

rq is a distributed task queue and background worker system for Python that uses a Redis backend to decouple task submission from execution. It functions as a reliable message queue and task scheduler, allowing Python functions or asyncio coroutines to be processed asynchronously across multiple worker processes. The project distinguishes itself through reliable queuing mechanisms that prevent job loss during worker crashes using atomic operations. It provides specialized orchestration capabilities, including the prevention of duplicate jobs, job execution prioritization, and the ability to m

Epoxy is an Android library for building complex RecyclerView screens using a model-driven approach. It generates RecyclerView adapter models at compile time from annotated custom views, data binding layouts, or view holders, eliminating the manual boilerplate typically associated with view holders and adapters. The library provides a diffing engine that automatically compares model lists and applies minimal updates with animations for insertions, removals, and moves. The library distinguishes itself through its controller-based model building, where a controller class with a buildModels meth

This project is a PHP implementation of the Promises/A+ specification, providing a library for managing asynchronous operations and deferred values. It serves as an asynchronous task coordinator that allows for the creation of non-blocking code through a promise-based pattern. The library enables the simulation of asynchronous coroutines, allowing non-blocking code to be written in a linear style. It features duck-typed interoperability, which allows it to integrate with any foreign object that implements a then method regardless of class inheritance. The project covers broader capabilities

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

MSBuild es un motor de construcción de .NET y sistema de automatización de construcción de software que transforma el código fuente en aplicaciones desplegables. Utiliza un sistema de proyecto declarativo basado en un esquema XML estructurado para definir elementos de construcción, propiedades y objetivos utilizados en todo el ecosistema .NET y Visual Studio. El sistema cuenta con un framework de tareas de construcción personalizable que permite la implementación de tareas y registradores personalizados para realizar operaciones específicas de construcción de software. Esta extensibilidad permite la creación de lógica especializada para modificar el comportamiento del proceso de construcción. El motor gestiona la automatización de la construcción mediante un modelo de ejecución basado en tareas y una orquestación de flujo de trabajo consciente de las dependencias. Sus capacidades cubren la compilación de software .NET, el despliegue de frameworks de destino múltiple y el seguimiento de construcción incremental. Además, proporciona una interfaz de línea de comandos para anulaciones de configuración y un sistema de registro para capturar la salida de la construcción.

Shipit es una herramienta de despliegue para Node.js y orquestador de tareas remotas utilizado para automatizar despliegues de software y ejecutar comandos de shell vía SSH. Funciona como un gestor de flujos de trabajo de despliegue y framework de automatización SSH, permitiendo a los usuarios definir pipelines de automatización que coordinan scripts locales y remotos. El proyecto se distingue por un sistema de orquestación de tareas basado en grafos de dependencia y un sistema de hooks basado en emisores de eventos, que permiten la creación de flujos de trabajo de automatización personalizados con coordinación de tareas secuenciadas. Gestiona las versiones de la aplicación utilizando la gestión de versiones basada en enlaces simbólicos (symlinks), proporcionando la capacidad de realizar reversiones (rollbacks) a versiones anteriores y limpiar despliegues obsoletos. La herramienta cubre una amplia gama de capacidades, incluyendo automatización de servidores remotos, sincronización de archivos entre hosts y distribución remota de código. También incluye utilidades para ejecutar assets de compilación y auditar commits pendientes para rastrear las diferencias entre el control de versiones y las revisiones desplegadas.

vite-plus es una toolchain de desarrollo web unificada y una interfaz de línea de comandos diseñada para gestionar builds de Vite, runtimes de JavaScript y gestores de paquetes desde un único punto de entrada. Funciona como un gestor de runtime de JavaScript para instalar y fijar versiones de lenguaje, un orquestador de tareas para monorepos para la ejecución de scripts con conocimiento de dependencias, y un motor de scaffolding de proyectos para arrancar aplicaciones y librerías. El proyecto se distingue por consolidar todo el ciclo de vida de desarrollo en una sola herramienta, contando con un motor de análisis estático unificado que realiza comprobación de tipos, linting y formateo en una sola pasada. Proporciona una orquestación avanzada de monorepos mediante ejecución paralela y un sistema de caché de resultados que utiliza la invalidación basada en huellas digitales para omitir tareas redundantes. La toolchain cubre además una amplia gama de capacidades, incluyendo pipelines de activos web para compilación en producción, aprovisionamiento automatizado de entornos y la gestión de Git commit hooks. También incluye utilidades para la ejecución de pruebas unitarias nativas y la creación de binarios ejecutables nativos.

Orchest es un orquestador de tuberías de datos y gestor de flujos de trabajo en contenedores. Proporciona una plataforma para diseñar, programar y ejecutar secuencias complejas de procesamiento de datos a través de una combinación de una interfaz gráfica y scripting. La plataforma se distingue por utilizar contenedores para gestionar las dependencias de software, asegurando una ejecución consistente en diferentes entornos. Cuenta con un programador de tareas políglota capaz de activar trabajos escritos en múltiples lenguajes de programación e incluye un sistema de control de versiones que rastrea instantáneas históricas de configuraciones de proyectos y código. El sistema cubre el diseño visual de flujos de trabajo y el mapeo de dependencias basado en grafos, junto con la programación de tareas activada por tiempo para ejecuciones recurrentes o inmediatas. También admite el despliegue de servicios en segundo plano persistentes que permanecen activos durante la duración de una ejecución de tubería.

Moon is a monorepo build system and task runner designed to orchestrate complex projects with multiple packages. It functions as a dependency graph orchestrator that executes build targets in topological order and utilizes input hashing to cache results and skip redundant work. The project features a polyglot toolchain manager that automates the installation and versioning of language runtimes and CLI tools to ensure environment consistency. It also includes a plugin framework based on WebAssembly, allowing developers to extend build logic and toolchain behavior using any supported language.

Bull-board is a web-based administrative interface and dashboard for visualizing, monitoring, and managing asynchronous job queues in Node.js. It serves as a control panel for background job administrators to oversee queue processing and manage the lifecycle of tasks powered by BullMQ, Bull, and Redis. The project distinguishes itself by providing a pluggable interface that integrates with various web server frameworks as middleware. It utilizes an adapter-based system to provide unified administrative controls across different queue backends and includes authentication guards to secure the d

Zensical is a documentation framework and markdown static site generator designed for authoring modular technical topics. It includes a static site build orchestrator that uses a dependency graph to parallelize asset compilation and perform differential updates. The project features a federated search engine that aggregates results from multiple documentation projects using a combination of inverted indexes and vector-based semantic search. It also includes an LLM context generator to extract lean, semantic information from modular topics to optimize prompts for large language models. The sy