Awesome GitHub RepositoriesLogical Replication Ingestion

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

This project is a PostgreSQL client library and SQL query builder for JavaScript and TypeScript. It provides a low-level database driver and connection manager to handle database sessions, along with a logical replication client for monitoring real-time changes. The library distinguishes itself with a high-performance bulk data streamer that utilizes the database copy command for importing and exporting large datasets. It also implements a logical replication protocol to facilitate real-time database synchronization through change subscriptions and channel-based notifications. The toolset co

ParadeDB is a database extension that integrates full-text search, vector database capabilities, and real-time analytics directly into a relational engine. It functions as a plugin that adds new storage and query execution capabilities to an existing database architecture. The project distinguishes itself by supporting hybrid search workflows that combine lexical keyword matching with dense and sparse vector similarity in a single query. It utilizes reciprocal rank fusion to merge these ranked result sets and employs logical replication to synchronize data from external instances, removing th

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

Pigsty هي منصة تنسيق بنية تحتية لقاعدة بيانات شاملة مصممة لأتمتة دورة الحياة الكاملة لمجموعات PostgreSQL عالية التوافر. تعمل كإطار عمل للبنية التحتية ككود يدير تنسيق المجموعة، وتوفير العقد، واكتشاف الخدمة من خلال دفاتر تشغيل متطابقة. من خلال دمج آليات الإجماع الموزعة، تضمن المنصة تجاوز الفشل الآلي وإنفاذ الحالة المتسقة عبر بيئات متنوعة، بما في ذلك الأجهزة المعدنية والبنية التحتية الافتراضية. تتميز المنصة بمجموعة قوية من القدرات التشغيلية التي تمتد إلى ما وراء إدارة قاعدة البيانات القياسية. تتميز بخط أنابيب مراقبة مدمج يجمع المقاييس والسجلات والآثار في لوحات تحكم مركزية لمراقبة الأداء في الوقت الفعلي والتحليل التشخيصي. بالإضافة إلى ذلك، توفر إطار عمل ترحيل يحاكي بروتوكولات الأسلاك المملوكة وصيغة SQL، مما يسمح بدمج أعباء عمل قاعدة بيانات المؤسسات القديمة في بيئات علائقية حديثة. يغطي النظام مساحة وظيفية واسعة، بما في ذلك إدارة التخزين المتقدمة مع استنساخ النسخ عند الكتابة للنشر السريع، وتنسيق قواعد البيانات المتعددة الذي ينسق المحركات العلائقية مع التخزين المؤقت وتخزين الكائنات. كما يدمج تقوية الأمان، والنسخ الاحتياطي والاستعادة الآلي، وتوجيه حركة المرور من خلال وكلاء طبقيين لفصل اتصالات العميل عن طوبولوجيا المجموعة الأساسية. يتم توزيع المشروع كنموذج مرآة حزمة مكتفٍ ذاتياً، مما يتيح النشر المتسق وإدارة التبعية في البيئات الآمنة أو المعزولة.

هذا المشروع عبارة عن مشغل (operator) لـ Kubernetes مصمم لنشر وإدارة مجموعات قواعد بيانات PostgreSQL للإنتاج باستخدام تكوينات تعريفية. يعمل كوحدة تحكم تقوم بمزامنة الحالة الفعلية لمجموعات قواعد البيانات مع الحالة المطلوبة، مما يوفر نظاماً لتنسيق التوافر العالي، والنسخ الاحتياطي والاستعادة التلقائي، وإدارة قواعد البيانات داخل الحاويات. يتميز المشغل بمجموعة شاملة لحماية البيانات تدعم الاستعادة في نقطة زمنية محددة، والنسخ الاحتياطي متعدد الأنماط إلى تخزين الكائنات السحابي، واستنساخ المجموعات. يضمن التوافر المستمر باستخدام الإجماع الموزع (distributed consensus) للفشل التلقائي (failover) ويدعم إدارة حركة مرور متطورة من خلال مجمع اتصالات (connection pooler) متكامل. يغطي المشروع مجموعة واسعة من القدرات التشغيلية، بما في ذلك النسخ المتماثل المتزامن وغير المتزامن، وجمع القياسات عن بُعد (telemetry) عبر مجموعة مراقبة مخصصة، وإدارة الهوية الآمنة مع تدوير تلقائي لشهادات TLS. كما يوفر أدوات لتوسيع حجم التخزين، وتحديثات محرك قاعدة البيانات، ودمج إضافات قواعد البيانات المختلفة. يتم تثبيت وحدة التحكم في مجموعة باستخدام ملفات بيان قابلة للتخصيص لتمكين التنسيق التعريفي لبيئة قاعدة البيانات.

RedisShake هي أداة لترحيل ومزامنة بيانات Redis و Valkey. تسهل الأداة نقل البيانات بين النماذج المستقلة (standalone)، وsentinel، وcluster، وتعمل كأداة ترحيل لقواعد البيانات عبر إصدارات مختلفة، بالإضافة إلى كونها أداة لاستعادة البيانات من ملفات النسخ الاحتياطي. يوفر المشروع خط معالجة بيانات قابل للبرمجة يسمح بتصفية المفاتيح (keys)، وإعادة تعيين فهارس قواعد البيانات، وتنفيذ نصوص Lua البرمجية لتعديل الأوامر والمفاتيح أثناء النقل. كما تدعم الأداة المزامنة بدون توقف (zero-downtime) عبر نسخ اللقطات (snapshots) وبث التغييرات التزايدية في الوقت الفعلي. تغطي الأداة مجموعة واسعة من طرق الاستخراج، بما في ذلك الترحيل القائم على النسخ المتماثل، والترحيل القائم على المسح (scan)، واستعادة ملفات النسخ الاحتياطي. وتتضمن إمكانيات لاكتشاف عقد العناقيد (cluster nodes)، وتحديد العقدة الرئيسية في sentinel، والتحقق من توافق الإصدارات لضمان الاستقرار أثناء عمليات النقل بين الإصدارات المختلفة.

Nominatim is a self-hosted geospatial search engine and geocoding server that utilizes OpenStreetMap data. It provides a complete infrastructure for forward geocoding, converting addresses or place names into geographic coordinates, and reverse geocoding, translating coordinates into human-readable physical addresses. The project features a dedicated data importer that parses raw map data into a PostgreSQL geospatial database. It distinguishes itself through a configurable import pipeline that uses style files to filter map features and an importance-based ranking system to prioritize search

pgdog is a PostgreSQL sharding proxy, distributed SQL router, and connection pooler. It is designed to enable horizontal data distribution by splitting tables and indices across multiple independent servers to scale storage and processing capacity. The project distinguishes itself through online resharding capabilities, using logical replication to move data between shards without application downtime. It supports multiple routing strategies, including hash, list, and range-based query routing, and manages distributed atomic transactions using a two-phase commit process to ensure consistency

pgeasyreplicate هي أداة سطر أوامر مصممة لتنسيق ترحيلات قاعدة البيانات والنسخ المتماثل المنطقي بين مثيلات PostgreSQL. تعمل كمنسق ترحيل يدير دورة حياة مزامنة البيانات بأكملها، من نشر المخطط الأولي إلى الانتقال النهائي لحركة مرور التطبيق. تتميز الأداة بمنطق تبديل مدرك للحالة، والذي ينسق حركة العمليات عن طريق التحقق من تأخير النسخ المتماثل وفرض أقفال الكتابة لمنع فقدان البيانات. توفر تحكماً دقيقاً في حركة البيانات من خلال السماح للمستخدمين بتنظيم الجداول في مجموعات نسخ متماثل محددة، مما يضمن مزامنة السجلات المقصودة فقط بين بيئات المصدر والهدف. بعيداً عن مهام الترحيل الأساسية، يتضمن المشروع إمكانيات مراقبة شاملة لتتبع صحة المزامنة وتأخير النسخ المتماثل في الوقت الفعلي. يدعم التكامل مع الأنظمة الخارجية عن طريق دفع تحديثات الحالة ومقاييس النسخ المتماثل إلى نقاط نهاية خطاف الويب المكونة، مما يسهل المراقبة المؤتمتة داخل سير عمل البنية التحتية الحالية.