3 مستودعات
Awesome GitHub RepositoriesSQL-Based Pipeline Definitions
Uses SQL as the primary language to define the structure and logic of streaming data pipelines.
Distinct from Streaming SQL Transformations: Focuses on using SQL for pipeline architecture and definition, not just executing a transformation query.
Explore 3 awesome GitHub repositories matching data & databases · SQL-Based Pipeline Definitions. Refine with filters or upvote what's useful.
Awesome SQL-Based Pipeline Definitions GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- risingwavelabs/risingwave
risingwavelabs/risingwave
9,093عرض على GitHubRisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen
Allows the definition of streaming pipelines using standard SQL, eliminating the need for custom application code.
Rustapache-icebergdata-engineeringdatabase - arroyosystems/arroyo
ArroyoSystems/arroyo
4,819عرض على GitHubArroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg
Defines streaming data pipelines using SQL as the primary language for transformation and analysis logic.
Rustdatadata-stream-processingdev-tools - dtstack/chunjun
DTStack/chunjun
4,104عرض على GitHubChunjun هو إطار عمل لتكامل البيانات الموزعة وخط أنابيب ETL قائم على SQL مصمم لمزامنة البيانات بين مصادر غير متجانسة. يعمل كأداة لالتقاط بيانات التغيير (CDC) ومزامن بيانات غير متجانس، ويستخدم بيئة معالجة موزعة لنقل وتحويل البيانات عبر أنواع قواعد بيانات مختلفة. يتميز النظام ببنية موصل قائمة على الإضافات، والتي تسمح بتطوير إضافات مصدر ووجهة مخصصة لتوسيع الاتصال بأنظمة البيانات غير المدعومة. ويدعم التقاط بيانات التغيير في الوقت الفعلي من سجلات قواعد البيانات العلائقية وينفذ انتشار تطور المخطط لتطبيق التغييرات الهيكلية تلقائياً من جداول المصدر إلى الوجهة. يوفر إطار العمل قدرات لمزامنة البيانات التزايدية وحساب البيانات عبر المصادر باستخدام منطق SQL. تتم إدارة الموثوقية من خلال استرداد المهام القائم على نقاط الفحص لاستئناف عمليات النقل المقاطعة وطوابير الرسائل الميتة لإدارة البيانات المتسخة لتدقيق السجلات المشوهة. يمكن نشر مهام التكامل عبر مجموعات مستقلة، أو Yarn، أو بيئات Kubernetes، مع دعم للنشر الحاوي عبر Docker.
Allows defining data movement and transformation workflows using SQL declarations and JSON templates.
Javabigdatadata-integrationflink
