Awesome GitHub RepositoriesDatabase Replication Middleware

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

Electric is a Postgres data synchronization engine and replication proxy designed to enable local-first software. It replicates data from Postgres databases to client-side stores in real time using logical replication, allowing applications to maintain a local embedded database for offline access and low-latency updates. The system distinguishes itself by using shapes to filter and authorize specific subsets of database rows and columns before streaming them to clients or edge workers. It further supports multi-user collaboration by integrating a conflict-free replicated data type framework t

هذا المشروع عبارة عن نظام لالتقاط بيانات التغيير (CDC) وطبقة مزامنة تنقل البيانات من قواعد بيانات MySQL إلى فهارس Elasticsearch. يعمل كأداة تعيين من علائقية إلى مستند، حيث يحول جداول قاعدة البيانات إلى مستندات قابلة للبحث لتمكين تكامل البيانات في الوقت الفعلي والبحث بالنص الكامل. يتميز المزامِن بدعم إلغاء تطبيع البيانات العلائقية، والذي يحول عمليات الربط (joins) من واحد إلى متعدد في قاعدة البيانات إلى هياكل مستندات أب-ابن. كما يسمح بتجميع الجداول المقسمة، باستخدام أنماط التعبير النمطي لتجميع جداول قاعدة بيانات متعددة في فهرس بحث واحد. يغطي النظام تعيين وتحويل البيانات بشكل شامل، بما في ذلك تحويل نوع الحقل، وتعيين المخطط، وتصفية الحقول المتزامنة. يوظف نموذج معالجة قائماً على خط الأنابيب لفك تشفير ودمج الحقول، مستخدماً كلاً من التحميل الأولي القائم على اللقطات (snapshots) للأساسيات وبث سجلات النظام الثنائية للتحديثات في الوقت الفعلي.