Awesome GitHub RepositoriesDataflow Engines

InfluxDB is a specialized time series database platform engineered for the high-speed ingestion, compression, and retrieval of timestamped data at scale. It functions as a distributed metrics platform, providing the infrastructure necessary to organize and analyze massive volumes of time-stamped information to identify trends, patterns, and anomalies within complex data streams. The platform distinguishes itself through a functional dataflow engine that utilizes a specialized programming language for complex analytical transformations and automated tasks. This architecture is supported by a p

Rete is a framework for building interactive, node-based visual interfaces and dataflow programming environments. It provides a core engine that processes directed graphs, allowing developers to define modular logic where nodes represent operations and connections represent the flow of data or control. By decoupling the graph logic from the user interface, the framework enables the creation of custom visual editors that can be integrated into various frontend component libraries. The project distinguishes itself through a highly extensible, signal-driven architecture that supports complex req

Noria ist eine dynamische Dataflow-Engine und eine Datenbank für materialisierte Sichten, die teure Leseoperationen in schnelle, schlüsselbasierte Lookups umwandelt. Es arbeitet als zustandsbehaftetes System, das abhängige Sichten inkrementell aktualisiert, sobald sich die zugrunde liegenden relationalen Basistabellen ändern. Das System kann als MySQL-Protokollemulator fungieren und das Binärprotokoll nachahmen, sodass Anwendungen vorberechnete Daten abrufen können, ohne den Client-Code ändern zu müssen. Es kann auch als eingebettete Rust-Datenbank verwendet werden, bei der der Server über native Bindings direkt in ein Programm integriert wird, um Dataflow-Operationen ohne externe Koordination durchzuführen. Das Projekt umfasst die Koordination verteilter Datenflüsse, einschließlich der Überwachung des Status von Worker-Nodes mittels Heartbeats. Es bietet Werkzeuge für die Verwaltung relationaler Tabellen, die Synchronisation inkrementeller Sichten und die Verwaltung von Datenflussgraphen. Die Beobachtbarkeit (Observability) wird durch das Sammeln von Domänenstatistiken, Performance-Benchmarking und einen Web-Dateninspektor zum Durchsuchen vorberechneter Ergebnisse unterstützt.