Awesome GitHub RepositoriesData Flow Definitions

Storm is a distributed stream processing framework designed to execute unbounded computations across a cluster to process real-time data streams. It functions as a data pipeline orchestrator that allows users to define and deploy declarative data flow graphs connecting streaming sources to processing components. The system operates as a multi-tenant distributed compute engine that isolates workloads and limits resource usage across shared clusters using dedicated pools and access control. It is also a secure distributed processing engine that employs encrypted node communication and SSL-secur

Effector is a reactive state management library and data flow orchestrator designed for building complex, event-driven applications. It models application logic as a directed acyclic graph, where state updates and asynchronous side effects propagate automatically through declarative pipelines. By decoupling business logic from user interface layers, it allows developers to maintain state in independent containers that communicate via standard interfaces, ensuring the system remains framework-agnostic. The library distinguishes itself through its robust support for isolated execution scopes, w

Streem ist eine streambasierte Programmiersprache und ein Daten-Pipeline-Orchestrator. Sie bietet eine domänenspezifische Sprache zur Definition paralleler Datenflüsse, die es Benutzern ermöglicht, Datenquellen über eine Sequenz von Operationen, die einzelne Streamelemente transformieren und filtern, mit Zielen zu verknüpfen. Das System verwendet eine benutzerdefinierte Skriptsyntax zur Definition von Datenflussverbindungen und Pipeline-Definitionen. Dies ermöglicht die Orchestrierung paralleler Datenverarbeitung, bei der mehrere Pipeline-Stufen gleichzeitig ausgeführt werden, um Datenelemente durch das System zu bewegen. Die Plattform deckt funktionale Datentransformation und stufenbasierte Komposition ab, wobei spezifische Funktionen angewendet werden, um Elemente zu modifizieren oder zu filtern, während sie eine sequenzielle Kette verknüpfter Operationen durchlaufen.