Awesome GitHub RepositoriesStreaming SQL Transformations

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Fluent Bit est un collecteur de logs et de télémétrie unifié cloud-native conçu comme un pipeline de données efficace en ressources. Il ingère des logs, des métriques et des traces provenant de multiples sources, les traitant en temps réel avant d'acheminer les données vers des backends de stockage externes. Le projet fonctionne comme un processeur de flux en temps réel et un processeur de logs OpenTelemetry, capable de transformer et de filtrer les données en utilisant SQL et une logique conditionnelle. Il agit également comme un agent de traçage distribué capable d'échantillonner les traces pour réduire le volume de données tout en préservant les chemins de requête complets. Le système fournit une livraison de données fiable grâce à une mise en mémoire tampon basée sur le système de fichiers et une logique de réessai avec état pour éviter la perte de données lors des pannes. Son architecture modulaire prend en charge des plugins d'entrée et de sortie enfichables, un routage basé sur les métadonnées et la capacité d'étendre les fonctionnalités via des bibliothèques partagées. Le logiciel peut être déployé en tant que conteneur sur différentes architectures CPU et systèmes d'exploitation.

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

StreamPark est une plateforme de gestion centralisée conçue pour coordonner le déploiement, la surveillance et le cycle de vie opérationnel des applications de traitement de flux distribué et de batch. Il fonctionne comme un plan de contrôle et un orchestrateur pour les pipelines de données, fournissant spécifiquement des capacités de gestion pour les environnements Apache Flink et Hadoop YARN. La plateforme se distingue par une approche low-code du déploiement de tâches et un adaptateur d'exécution multi-moteur qui prend en charge divers runtimes de traitement. Elle facilite la gestion des pipelines de données en temps réel en combinant l'analytique SQL en streaming avec un pipeline de déploiement basé sur les ressources qui gère le versioning, les uploads de binaires et la récupération d'état basée sur des savepoints. Le système couvre un large ensemble de capacités incluant l'orchestration de jobs distribués, l'intégration de données en temps réel via des connecteurs pré-construits et l'intégration d'identité via LDAP ou SSO. Il fournit également des outils d'observabilité pour la surveillance des applications à la seconde près et des notifications opérationnelles automatisées en cas de panne.

Chunjun est un framework d'intégration de données distribué et un pipeline ETL basé sur SQL conçu pour synchroniser les données entre des sources hétérogènes. Il fonctionne comme un outil de capture de données modifiées (CDC) et un synchroniseur de données hétérogènes, utilisant un environnement de traitement distribué pour déplacer et transformer les données à travers différents types de bases de données. Le système se distingue par son architecture de connecteurs basée sur des plugins, qui permet le développement de plugins de source et de destination personnalisés pour étendre la connectivité aux systèmes de données non pris en charge. Il prend en charge la capture de données modifiées en temps réel à partir des journaux de bases de données relationnelles et implémente la propagation de l'évolution de schéma pour appliquer automatiquement les changements structurels des tables sources aux tables de destination. Le framework fournit des capacités pour la synchronisation de données incrémentielle et le calcul de données inter-sources utilisant la logique SQL. La fiabilité est gérée via une récupération de tâche basée sur des points de contrôle pour reprendre les transferts interrompus et des files d'attente de lettres mortes pour la gestion des données sales afin d'auditer les enregistrements mal formés. Les tâches d'intégration peuvent être déployées sur des clusters autonomes, Yarn ou des environnements Kubernetes, avec une prise en charge du déploiement conteneurisé via Docker.