Awesome GitHub RepositoriesDatabase Synchronization Tools

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

NeoSync es una herramienta de sincronización de bases de datos y orquestador de pipelines de datos diseñado para mover y transformar conjuntos de datos entre diferentes entornos. Funciona como una plataforma de seguridad de datos PII y un generador de datos sintéticos, permitiendo la sincronización de datos de producción mientras se garantiza el cumplimiento de la privacidad. El sistema utiliza un coordinador basado en eventos para gestionar los movimientos de datos asíncronos, proporcionando reintentos automatizados y manejo de fallos. Se diferencia al combinar la anonimización y detección de PII basada en reglas con la generación de datos sintéticos basada en esquemas para crear conjuntos de datos artificiales que imitan las propiedades de producción sin exponer información privada. El proyecto cubre áreas de capacidad amplias, incluyendo el subconjunto de bases de datos para reducir el volumen de datos para pruebas, transformaciones de campos basadas en plantillas para remodelar la información y la orquestación de pipelines de datos para mantener la integridad relacional durante la sincronización.