Awesome GitHub RepositoriesDatabase Synchronization Tools

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

NeoSync este un instrument de sincronizare a bazelor de date și orchestrator de pipeline de date conceput pentru a muta și transforma seturi de date între diferite medii. Funcționează ca o platformă de securitate a datelor PII și un generator de date sintetice, permițând sincronizarea datelor de producție asigurând în același timp conformitatea cu confidențialitatea. Sistemul utilizează un coordonator bazat pe evenimente pentru a gestiona mișcările asincrone de date, oferind reîncercare automată și gestionarea eșecurilor. Se diferențiază prin combinarea anonimizării și detectării PII bazate pe reguli cu generarea de date sintetice bazată pe schemă pentru a crea seturi de date artificiale care mimează proprietățile de producție fără a expune informații private. Proiectul acoperă domenii largi de capabilități, inclusiv subsetarea bazelor de date pentru a reduce volumul de date pentru testare, transformări de câmpuri bazate pe șabloane pentru a remodela informațiile și orchestrarea pipeline-urilor de date pentru a menține integritatea relațională în timpul sincronizării.