Awesome GitHub RepositoriesReal-Time Data Replication

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

go-mysql هو مجموعة أدوات للغة البرمجة Go مصممة لتنفيذ معالجات بروتوكول MySQL، وأنظمة نسخ السجل الثنائي، والخوادم الوهمية، وأدوات تحليل المخططات. توفر المكتبات اللازمة للتفاعل مع خوادم MySQL من خلال بروتوكولات الشبكة الأصلية وتدفقات السجل الثنائي. يمكن المشروع من إنشاء وكلاء قاعدة بيانات مخصصين أو خوادم وهمية عن طريق تحليل وفك تشفير حزم الشبكة منخفضة المستوى. كما يتضمن أداة نسخ متماثل لبث ومعالجة السجلات الثنائية لمزامنة البيانات عبر أنظمة تخزين مختلفة، إلى جانب محلل مخططات لاستخراج وتحليل تعريفات هيكل قاعدة البيانات. تغطي مجموعة الأدوات مجموعة واسعة من قدرات تكامل قاعدة البيانات، بما في ذلك إدارة الاتصال، وتنفيذ الاستعلام، وإدارة سير عمل نسخ البيانات في الوقت الفعلي. كما تدعم أتمتة ترحيلات المخططات ومزامنة السجلات مع أنظمة التخزين الخارجية.

Stolon هو مدير أوركسترا لقواعد بيانات سحابية أصلية لـ PostgreSQL. يعمل كمدير توفر عالي مصمم لأتمتة تجاوز الفشل (Failover)، والنسخ المتماثل، وإدارة العناقيد (Clusters) في البيئات الموزعة. ينسق النظام انعكاس البيانات المتزامن وغير المتزامن ويستخدم آلية اكتشاف الخدمة لاكتشاف عناوين عقد قاعدة البيانات ديناميكياً. ويوجه حركة مرور العميل إلى المثيل الأساسي الحالي من خلال وكيل للحفاظ على وصول التطبيق أثناء تبديل الأدوار. يغطي المشروع التعافي من الكوارث من خلال التعافي في نقطة زمنية وصيانة عناقيد احتياطية في مواقع متعددة. كما يتضمن قدرات لتأمين اتصالات قاعدة البيانات عبر التشفير وأتمتة اكتشاف تغييرات عناوين العمليات داخل الشبكة.

RedisShake هي أداة لترحيل ومزامنة بيانات Redis و Valkey. تسهل الأداة نقل البيانات بين النماذج المستقلة (standalone)، وsentinel، وcluster، وتعمل كأداة ترحيل لقواعد البيانات عبر إصدارات مختلفة، بالإضافة إلى كونها أداة لاستعادة البيانات من ملفات النسخ الاحتياطي. يوفر المشروع خط معالجة بيانات قابل للبرمجة يسمح بتصفية المفاتيح (keys)، وإعادة تعيين فهارس قواعد البيانات، وتنفيذ نصوص Lua البرمجية لتعديل الأوامر والمفاتيح أثناء النقل. كما تدعم الأداة المزامنة بدون توقف (zero-downtime) عبر نسخ اللقطات (snapshots) وبث التغييرات التزايدية في الوقت الفعلي. تغطي الأداة مجموعة واسعة من طرق الاستخراج، بما في ذلك الترحيل القائم على النسخ المتماثل، والترحيل القائم على المسح (scan)، واستعادة ملفات النسخ الاحتياطي. وتتضمن إمكانيات لاكتشاف عقد العناقيد (cluster nodes)، وتحديد العقدة الرئيسية في sentinel، والتحقق من توافق الإصدارات لضمان الاستقرار أثناء عمليات النقل بين الإصدارات المختلفة.