Awesome GitHub RepositoriesDatabase Synchronization Tools

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

NeoSync هي أداة لمزامنة قواعد البيانات ومنسق لخطوط أنابيب البيانات مصممة لنقل وتحويل مجموعات البيانات عبر بيئات مختلفة. تعمل كمنصة لأمن بيانات PII ومولد بيانات اصطناعية، مما يسمح بمزامنة بيانات الإنتاج مع ضمان الامتثال للخصوصية. يستخدم النظام منسقاً قائماً على مصادر الأحداث لإدارة حركات البيانات غير المتزامنة، مما يوفر إعادة محاولة تلقائية ومعالجة للفشل. يتميز بدمج إخفاء هوية PII القائم على القواعد والكشف عنها مع توليد البيانات الاصطناعية القائم على المخطط لإنشاء مجموعات بيانات اصطناعية تحاكي خصائص الإنتاج دون كشف معلومات خاصة. يغطي المشروع مجالات قدرات واسعة بما في ذلك تقسيم قواعد البيانات لتقليل حجم البيانات للاختبار، وتحويلات الحقول القائمة على القوالب لإعادة تشكيل المعلومات، وتنسيق خطوط أنابيب البيانات للحفاظ على السلامة العلائقية أثناء المزامنة.