Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql هو مجموعة أدوات للغة البرمجة Go مصممة لتنفيذ معالجات بروتوكول MySQL، وأنظمة نسخ السجل الثنائي، والخوادم الوهمية، وأدوات تحليل المخططات. توفر المكتبات اللازمة للتفاعل مع خوادم MySQL من خلال بروتوكولات الشبكة الأصلية وتدفقات السجل الثنائي. يمكن المشروع من إنشاء وكلاء قاعدة بيانات مخصصين أو خوادم وهمية عن طريق تحليل وفك تشفير حزم الشبكة منخفضة المستوى. كما يتضمن أداة نسخ متماثل لبث ومعالجة السجلات الثنائية لمزامنة البيانات عبر أنظمة تخزين مختلفة، إلى جانب محلل مخططات لاستخراج وتحليل تعريفات هيكل قاعدة البيانات. تغطي مجموعة الأدوات مجموعة واسعة من قدرات تكامل قاعدة البيانات، بما في ذلك إدارة الاتصال، وتنفيذ الاستعلام، وإدارة سير عمل نسخ البيانات في الوقت الفعلي. كما تدعم أتمتة ترحيلات المخططات ومزامنة السجلات مع أنظمة التخزين الخارجية.

هذا المشروع عبارة عن تعريف (driver) لقاعدة بيانات MySQL لـ Node.js ينشئ اتصالات شبكة وينفذ استعلامات SQL باستخدام بروتوكول اتصال أصلي. يعمل كعميل SQL غير متزامن، ويوفر واجهة استعلام قائمة على الوعود (promise-based) ودعماً لأنماط async/await لإدارة عمليات قاعدة البيانات غير المحظورة. تتضمن المكتبة تنفيذاً كاملاً لبروتوكول MySQL، وتعمل كأداة لبناء خوادم قواعد بيانات مخصصة أو وكلاء أو عملاء. كما تعمل كمدير لمجمع الاتصالات (connection pool) وأداة لمنع الحقن، باستخدام الاستعلامات المحضرة (prepared statements) والاستعلامات ذات المعلمات لتأمين تفاعلات قاعدة البيانات. يغطي المشروع نطاقاً واسعاً من إمكانيات تكامل قواعد البيانات، بما في ذلك تنسيق المعاملات الذرية، وبث السجلات الثنائية، وبث البيانات الجدولية للاستيراد بالجملة. ويدير دورات حياة الموارد من خلال تنظيف الاتصال المؤتمت ويوفر آليات مصادقة متنوعة، مثل مصادقة تجزئة كلمة المرور وتفاوض المصافحة الآمن. يتم دعم الاتصال بشكل أكبر عبر تشفير SSL، وضغط حركة مرور الشبكة، والقدرة على توجيه حركة المرور عبر ناقلات تدفق مزدوجة مخصصة.

wal-g هي أداة نسخ احتياطي سحابي لقاعدة البيانات وأرشيف سجل الكتابة المسبقة (write-ahead log) مصممة للتعافي من الكوارث والتعافي في نقطة زمنية محددة. تقوم بأرشفة حالة قاعدة البيانات وسجلات المعاملات لموفري التخزين السحابي لضمان متانة البيانات على المدى الطويل. يوفر المشروع مديراً لضغط وتشفير وتقليم النسخ الاحتياطية لقاعدة البيانات المخزنة في تخزين الكائنات السحابي. يتيح بشكل خاص استعادة قاعدة البيانات إلى طابع زمني محدد عن طريق جلب النسخ الاحتياطية الأساسية وإعادة تشغيل سجلات المعاملات. تغطي قدرات الأداة النسخ الاحتياطي والاستعادة متعدد المحركات، بما في ذلك إنشاء نسخ احتياطية كاملة وتفاضلية. تدير دورة حياة النسخ الاحتياطي من خلال تتبع المخزون وسياسات التقليم الآلية، وتتضمن أدوات للتحقق من سلامة أرشيفات السجل وملفات الجدول. يتوفر وكيل محلي لمحاكاة واجهات برمجة تطبيقات التخزين السحابي لاختبار عمليات النسخ الاحتياطي والاستعادة.