Awesome GitHub RepositoriesStreaming SQL Transformations

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Fluent Bit es un recolector de logs y telemetría unificado, nativo de la nube, diseñado como un pipeline de datos eficiente en recursos. Ingiere logs, métricas y trazas de múltiples fuentes, procesándolos en tiempo real antes de enrutar los datos a backends de almacenamiento externos. El proyecto funciona como un procesador de flujos en tiempo real y procesador de logs de OpenTelemetry, capaz de transformar y filtrar datos utilizando SQL y lógica condicional. También actúa como un agente de rastreo distribuido que puede muestrear trazas para reducir el volumen de datos mientras preserva las rutas completas de las solicitudes. El sistema proporciona una entrega de datos fiable mediante almacenamiento en búfer respaldado por el sistema de archivos y lógica de reintento con estado para evitar la pérdida de datos durante interrupciones. Su arquitectura modular admite plugins de entrada y salida conectables, enrutamiento basado en metadatos y la capacidad de extender la funcionalidad mediante bibliotecas compartidas. El software puede desplegarse como un contenedor a través de diferentes arquitecturas de CPU y sistemas operativos.

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

StreamPark es una plataforma de gestión centralizada diseñada para coordinar el despliegue, monitoreo y ciclo de vida operativo de aplicaciones de procesamiento de flujos distribuidos y procesamiento por lotes (batch). Funciona como un plano de control y orquestador para pipelines de datos, proporcionando específicamente capacidades de gestión para entornos Apache Flink y Hadoop YARN. La plataforma se distingue por un enfoque de bajo código para el despliegue de tareas y un adaptador de ejecución multi-motor que admite diversos runtimes de procesamiento. Facilita la gestión de pipelines de datos en tiempo real combinando análisis SQL de streaming con un pipeline de despliegue basado en recursos que maneja el versionado, subidas de binarios y recuperación de estado basada en savepoints. El sistema cubre un amplio conjunto de capacidades, incluyendo orquestación de trabajos distribuidos, integración de datos en tiempo real a través de conectores preconstruidos e integración de identidad a través de LDAP o SSO. También proporciona herramientas de observabilidad para el monitoreo de aplicaciones de segundo nivel y notificaciones operativas automatizadas de fallos.

Chunjun es un framework de integración de datos distribuido y pipeline ETL basado en SQL diseñado para sincronizar datos entre fuentes heterogéneas. Funciona como una herramienta de captura de datos modificados (CDC) y un sincronizador de datos heterogéneos, utilizando un entorno de procesamiento distribuido para mover y transformar datos a través de diferentes tipos de bases de datos. El sistema se distingue por su arquitectura de conectores basada en plugins, que permite el desarrollo de plugins de origen y destino personalizados para extender la conectividad a sistemas de datos no soportados. Admite la captura de datos modificados en tiempo real desde registros de bases de datos relacionales e implementa la propagación de evolución de esquemas para aplicar automáticamente cambios estructurales de tablas de origen a destino. El framework proporciona capacidades para la sincronización de datos incremental y el cálculo de datos entre fuentes utilizando lógica SQL. La fiabilidad se gestiona a través de la recuperación de tareas basada en puntos de control para reanudar transferencias interrumpidas y colas de mensajes fallidos (dead-letter queues) para la gestión de datos sucios para auditar registros malformados. Las tareas de integración pueden desplegarse a través de clusters independientes, Yarn o entornos Kubernetes, con soporte para despliegue contenedorizado a través de Docker.