Awesome GitHub RepositoriesSQL-Based Pipeline Definitions

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

Chunjun es un framework de integración de datos distribuido y pipeline ETL basado en SQL diseñado para sincronizar datos entre fuentes heterogéneas. Funciona como una herramienta de captura de datos modificados (CDC) y un sincronizador de datos heterogéneos, utilizando un entorno de procesamiento distribuido para mover y transformar datos a través de diferentes tipos de bases de datos. El sistema se distingue por su arquitectura de conectores basada en plugins, que permite el desarrollo de plugins de origen y destino personalizados para extender la conectividad a sistemas de datos no soportados. Admite la captura de datos modificados en tiempo real desde registros de bases de datos relacionales e implementa la propagación de evolución de esquemas para aplicar automáticamente cambios estructurales de tablas de origen a destino. El framework proporciona capacidades para la sincronización de datos incremental y el cálculo de datos entre fuentes utilizando lógica SQL. La fiabilidad se gestiona a través de la recuperación de tareas basada en puntos de control para reanudar transferencias interrumpidas y colas de mensajes fallidos (dead-letter queues) para la gestión de datos sucios para auditar registros malformados. Las tareas de integración pueden desplegarse a través de clusters independientes, Yarn o entornos Kubernetes, con soporte para despliegue contenedorizado a través de Docker.