Awesome GitHub RepositoriesDynamic Task Spawning

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

Dag-factory este un framework pentru construirea și gestionarea pipeline-urilor de date Apache Airflow prin fișiere de configurare declarative. Prin înlocuirea codului procedural manual cu definiții YAML structurate, acesta permite generarea programatică a structurilor complexe de workflow, a dependențelor de sarcini și a programărilor de execuție. Proiectul se distinge prin maparea cheilor de configurare direct la constructori de clase Python și operatori, permițând instanțierea dinamică a obiectelor și logica personalizată. Suportă moștenirea ierarhică a configurației pentru a standardiza setările între medii și oferă mecanisme pentru injectarea specificațiilor de pod Kubernetes direct în definițiile sarcinilor pentru a asigura o execuție izolată și scalabilă. Framework-ul acoperă întregul ciclu de viață al pipeline-ului, inclusiv descoperirea automată a fișierelor, maparea dinamică la nivel de sarcină pentru procesarea paralelă și atașarea de metadate pentru integrarea cu sisteme externe. De asemenea, include utilitare de linie de comandă pentru validarea configurațiilor, declanșarea execuțiilor și gestionarea migrărilor de mediu.