Awesome GitHub RepositoriesDatabase Environment Synchronization

NeoSync est un outil de synchronisation de base de données et un orchestrateur de pipeline de données conçu pour déplacer et transformer des jeux de données entre différents environnements. Il fonctionne comme une plateforme de sécurité des données PII et un générateur de données synthétiques, permettant la synchronisation des données de production tout en garantissant la conformité à la confidentialité. Le système utilise un coordinateur basé sur l'événementiel pour gérer les mouvements de données asynchrones, fournissant une gestion automatisée des tentatives et des échecs. Il se différencie en combinant l'anonymisation et la détection des PII basées sur des règles avec la génération de données synthétiques basées sur des schémas pour créer des jeux de données artificiels qui imitent les propriétés de production sans exposer d'informations privées. Le projet couvre de larges domaines de capacités, notamment le sous-échantillonnage de base de données pour réduire le volume de données pour les tests, les transformations de champs basées sur des modèles pour remodeler les informations, et l'orchestration de pipelines de données pour maintenir l'intégrité relationnelle pendant la synchronisation.