Awesome GitHub RepositoriesStreaming SQL Transformations

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Fluent Bit هو ناقل سجلات سحابي المنشأ وجامع قياسات موحد مصمم كخط أنابيب بيانات فعال في الموارد. يقوم باستيعاب السجلات، والمقاييس، والتتبعات من مصادر متعددة، ومعالجتها في الوقت الفعلي قبل توجيه البيانات إلى خلفيات التخزين الخارجية. يعمل المشروع كمعالج تدفق في الوقت الفعلي ومعالج سجلات OpenTelemetry، قادر على تحويل وتصفية البيانات باستخدام SQL والمنطق الشرطي. كما يعمل كوكيل تتبع موزع يمكنه أخذ عينات من التتبعات لتقليل حجم البيانات مع الحفاظ على مسارات الطلبات الكاملة. يوفر النظام تسليم بيانات موثوقاً من خلال التخزين المؤقت المدعوم بنظام الملفات ومنطق إعادة المحاولة القائم على الحالة لمنع فقدان البيانات أثناء الانقطاعات. تدعم بنيته النمطية إضافات الإدخال والإخراج القابلة للتوصيل، والتوجيه القائم على البيانات الوصفية، والقدرة على توسيع الوظائف عبر مكتبات مشتركة. يمكن نشر البرنامج كحاوية عبر بنيات CPU وأنظمة تشغيل مختلفة.

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

StreamPark هو منصة إدارة مركزية مصممة لتنسيق النشر، والمراقبة، ودورة الحياة التشغيلية لتطبيقات معالجة التدفق الموزعة والتطبيقات الدفعية (batch). يعمل كطائرة تحكم (control plane) ومنسق لخطوط أنابيب البيانات، ويوفر تحديداً قدرات إدارة لبيئات Apache Flink و Hadoop YARN. تتميز المنصة بنهج منخفض الكود (low-code) لنشر المهام ومحول تنفيذ متعدد المحركات يدعم أوقات تشغيل معالجة متنوعة. تسهل إدارة خط أنابيب البيانات في الوقت الفعلي من خلال الجمع بين تحليلات SQL المتدفقة وخط أنابيب نشر قائم على الموارد يتعامل مع الإصدارات، وتحميل الملفات الثنائية، واستعادة الحالة القائمة على نقاط الحفظ (savepoints). يغطي النظام مجموعة واسعة من القدرات بما في ذلك تنسيق الوظائف الموزعة، وتكامل البيانات في الوقت الفعلي عبر موصلات مبنية مسبقاً، وتكامل الهوية عبر LDAP أو SSO. كما يوفر أدوات مراقبة لمراقبة التطبيقات على مستوى الثانية وإخطارات الأعطال التشغيلية المؤتمتة.

Chunjun هو إطار عمل لتكامل البيانات الموزعة وخط أنابيب ETL قائم على SQL مصمم لمزامنة البيانات بين مصادر غير متجانسة. يعمل كأداة لالتقاط بيانات التغيير (CDC) ومزامن بيانات غير متجانس، ويستخدم بيئة معالجة موزعة لنقل وتحويل البيانات عبر أنواع قواعد بيانات مختلفة. يتميز النظام ببنية موصل قائمة على الإضافات، والتي تسمح بتطوير إضافات مصدر ووجهة مخصصة لتوسيع الاتصال بأنظمة البيانات غير المدعومة. ويدعم التقاط بيانات التغيير في الوقت الفعلي من سجلات قواعد البيانات العلائقية وينفذ انتشار تطور المخطط لتطبيق التغييرات الهيكلية تلقائياً من جداول المصدر إلى الوجهة. يوفر إطار العمل قدرات لمزامنة البيانات التزايدية وحساب البيانات عبر المصادر باستخدام منطق SQL. تتم إدارة الموثوقية من خلال استرداد المهام القائم على نقاط الفحص لاستئناف عمليات النقل المقاطعة وطوابير الرسائل الميتة لإدارة البيانات المتسخة لتدقيق السجلات المشوهة. يمكن نشر مهام التكامل عبر مجموعات مستقلة، أو Yarn، أو بيئات Kubernetes، مع دعم للنشر الحاوي عبر Docker.