Awesome GitHub RepositoriesDatabase Synchronization Tools

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

NeoSync 是一个数据库同步工具和数据管道编排器，旨在跨不同环境移动和转换数据集。它作为一个 PII 数据安全平台和合成数据生成器，允许在确保隐私合规的同时同步生产数据。 该系统利用事件溯源协调器来管理异步数据移动，提供自动重试和故障处理。它通过结合基于规则的 PII 匿名化与检测，以及基于模式的合成数据生成来创建模拟生产属性而不暴露私人信息的合成数据集，从而脱颖而出。 该项目涵盖了广泛的功能领域，包括用于减少测试数据量的数据库子集化、用于重塑信息的模板驱动字段转换，以及用于在同步期间维护关系完整性的数据管道编排。