Awesome GitHub RepositoriesData Flow Definitions

Storm is a distributed stream processing framework designed to execute unbounded computations across a cluster to process real-time data streams. It functions as a data pipeline orchestrator that allows users to define and deploy declarative data flow graphs connecting streaming sources to processing components. The system operates as a multi-tenant distributed compute engine that isolates workloads and limits resource usage across shared clusters using dedicated pools and access control. It is also a secure distributed processing engine that employs encrypted node communication and SSL-secur

Effector is a reactive state management library and data flow orchestrator designed for building complex, event-driven applications. It models application logic as a directed acyclic graph, where state updates and asynchronous side effects propagate automatically through declarative pipelines. By decoupling business logic from user interface layers, it allows developers to maintain state in independent containers that communicate via standard interfaces, ensuring the system remains framework-agnostic. The library distinguishes itself through its robust support for isolated execution scopes, w

Streem este un limbaj de programare bazat pe fluxuri (stream-based) și un orchestrator de pipeline-uri de date. Oferă un limbaj specific domeniului (DSL) pentru definirea fluxurilor de date concurente, permițând utilizatorilor să lege sursele de date la destinații printr-o secvență de operațiuni care transformă și filtrează elementele individuale ale fluxului. Sistemul utilizează o sintaxă de script personalizată pentru a defini conexiunile fluxului de date și definițiile pipeline-ului. Acest lucru permite orchestrarea procesării concurente a datelor, unde mai multe etape ale pipeline-ului se execută simultan pentru a muta elementele de date prin sistem. Platforma acoperă transformarea funcțională a datelor și compoziția bazată pe etape, aplicând funcții specifice pentru a modifica sau filtra elementele pe măsură ce trec printr-un lanț secvențial de operațiuni legate.