Awesome GitHub RepositoriesDataflow Engines

InfluxDB is a specialized time series database platform engineered for the high-speed ingestion, compression, and retrieval of timestamped data at scale. It functions as a distributed metrics platform, providing the infrastructure necessary to organize and analyze massive volumes of time-stamped information to identify trends, patterns, and anomalies within complex data streams. The platform distinguishes itself through a functional dataflow engine that utilizes a specialized programming language for complex analytical transformations and automated tasks. This architecture is supported by a p

Rete is a framework for building interactive, node-based visual interfaces and dataflow programming environments. It provides a core engine that processes directed graphs, allowing developers to define modular logic where nodes represent operations and connections represent the flow of data or control. By decoupling the graph logic from the user interface, the framework enables the creation of custom visual editors that can be integrated into various frontend component libraries. The project distinguishes itself through a highly extensible, signal-driven architecture that supports complex req

Noria este un motor de dataflow dinamic și o bază de date cu vederi materializate (materialized views) care transformă operațiunile de citire costisitoare în căutări rapide pe bază de cheie. Acesta funcționează ca un sistem cu stare care actualizează incremental vederile dependente pe măsură ce tabelele relaționale de bază se modifică. Sistemul poate funcționa ca un emulator de protocol MySQL, mimând protocolul binar pentru a permite aplicațiilor să preia date precalculate fără a modifica codul clientului. Poate fi utilizat și ca bază de date embedded în Rust, integrând serverul direct într-un program prin binding-uri native pentru a efectua operațiuni de dataflow fără coordonare externă. Proiectul acoperă coordonarea distribuită a fluxului de date, inclusiv monitorizarea stării nodurilor de lucru prin heartbeats. Oferă instrumente pentru gestionarea tabelelor relaționale, sincronizarea incrementală a vederilor și gestionarea grafurilor de flux de date. Observabilitatea este susținută prin colectarea de statistici de domeniu, benchmarking de performanță și un inspector web de date pentru vizualizarea rezultatelor precalculate.