Awesome GitHub RepositoriesDynamic Task Spawning

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

Dag-factory es un framework para construir y gestionar pipelines de datos de Apache Airflow a través de archivos de configuración declarativos. Al reemplazar el código procedimental manual con definiciones YAML estructuradas, permite la generación programática de estructuras de flujo de trabajo complejas, dependencias de tareas y cronogramas de ejecución. El proyecto destaca por mapear claves de configuración directamente a constructores de clases y operadores de Python, permitiendo la instanciación dinámica de objetos y lógica personalizada. Admite la herencia de configuración jerárquica para estandarizar la configuración en todos los entornos y proporciona mecanismos para inyectar especificaciones de pods de Kubernetes directamente en las definiciones de tareas para asegurar una ejecución aislada y escalable. El framework cubre el ciclo de vida completo del pipeline, incluyendo el descubrimiento automatizado de archivos, el mapeo dinámico a nivel de tarea para el procesamiento paralelo y la adjunción de metadatos para la integración con sistemas externos. También incluye utilidades de línea de comandos para validar configuraciones, activar ejecuciones y gestionar migraciones de entorno.