Awesome GitHub RepositoriesDataflow Engines

InfluxDB is a specialized time series database platform engineered for the high-speed ingestion, compression, and retrieval of timestamped data at scale. It functions as a distributed metrics platform, providing the infrastructure necessary to organize and analyze massive volumes of time-stamped information to identify trends, patterns, and anomalies within complex data streams. The platform distinguishes itself through a functional dataflow engine that utilizes a specialized programming language for complex analytical transformations and automated tasks. This architecture is supported by a p

Rete is a framework for building interactive, node-based visual interfaces and dataflow programming environments. It provides a core engine that processes directed graphs, allowing developers to define modular logic where nodes represent operations and connections represent the flow of data or control. By decoupling the graph logic from the user interface, the framework enables the creation of custom visual editors that can be integrated into various frontend component libraries. The project distinguishes itself through a highly extensible, signal-driven architecture that supports complex req

Noria est un moteur de flux de données dynamique et une base de données à vues matérialisées qui transforme les opérations de lecture coûteuses en recherches par clé rapides. Il fonctionne comme un système avec état qui met à jour progressivement les vues dépendantes à mesure que les tables relationnelles sous-jacentes changent. Le système peut fonctionner comme un émulateur de protocole MySQL, imitant le protocole binaire pour permettre aux applications de récupérer des données précalculées sans modifier le code client. Il peut également être utilisé comme base de données embarquée en Rust, intégrant le serveur directement dans un programme via des liaisons natives pour effectuer des opérations de flux de données sans coordination externe. Le projet couvre la coordination distribuée des flux de données, y compris le suivi de l'état de santé des nœuds de travail via des heartbeats. Il fournit des outils pour la gestion des tables relationnelles, la synchronisation incrémentale des vues et la gestion des graphes de flux de données. L'observabilité est assurée par la collecte de statistiques de domaine, le benchmarking de performance et un inspecteur de données web pour parcourir les résultats précalculés.