Awesome GitHub RepositoriesDatabase Synchronization Tools

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

NeoSync ist ein Datenbank-Synchronisationstool und ein Daten-Pipeline-Orchestrator, der darauf ausgelegt ist, Datensätze über verschiedene Umgebungen hinweg zu verschieben und zu transformieren. Es fungiert als PII-Datensicherheitsplattform und Generator für synthetische Daten, der die Synchronisation von Produktionsdaten bei gleichzeitiger Gewährleistung der Datenschutz-Compliance ermöglicht. Das System nutzt einen Event-Sourced-Koordinator zur Verwaltung asynchroner Datenbewegungen und bietet automatisierte Wiederholungs- und Fehlerbehandlungsmechanismen. Es zeichnet sich durch die Kombination regelbasierter PII-Anonymisierung und -Erkennung mit schemabasierter Generierung synthetischer Daten aus, um künstliche Datensätze zu erstellen, die Produktionseigenschaften nachahmen, ohne private Informationen preiszugeben. Das Projekt deckt breite Funktionsbereiche ab, einschließlich Datenbank-Subsetting zur Reduzierung des Datenvolumens für Tests, vorlagenbasierter Feldtransformationen zur Umgestaltung von Informationen und der Orchestrierung von Daten-Pipelines zur Wahrung der relationalen Integrität während der Synchronisation.