nucleuscloud/neosyncArchived
Neosync
NeoSync est un outil de synchronisation de base de données et un orchestrateur de pipeline de données conçu pour déplacer et transformer des jeux de données entre différents environnements. Il fonctionne comme une plateforme de sécurité des données PII et un générateur de données synthétiques, permettant la synchronisation des données de production tout en garantissant la conformité à la confidentialité.
Le système utilise un coordinateur basé sur l'événementiel pour gérer les mouvements de données asynchrones, fournissant une gestion automatisée des tentatives et des échecs. Il se différencie en combinant l'anonymisation et la détection des PII basées sur des règles avec la génération de données synthétiques basées sur des schémas pour créer des jeux de données artificiels qui imitent les propriétés de production sans exposer d'informations privées.
Le projet couvre de larges domaines de capacités, notamment le sous-échantillonnage de base de données pour réduire le volume de données pour les tests, les transformations de champs basées sur des modèles pour remodeler les informations, et l'orchestration de pipelines de données pour maintenir l'intégrité relationnelle pendant la synchronisation.
Features
- Database Environment Synchronization - Synchronizes and transforms data slices between production and development environments with built-in failure management.
- Synthetic Data Generators - Creates artificial datasets that mimic production properties for unit testing, seeding, and demonstrations.
- Relational Database Subsetting - Extracts specific data slices from production databases while maintaining referential integrity for local development.
- Data Pipeline Orchestration - Coordinates asynchronous data movements and processing tasks with automated failure recovery.
- Database Synchronization Tools - Syncs production data across environments while applying subsetting, anonymization, and transformation rules.
- Production Data Subsetting - Extracts representative record slices from production databases to reduce data volume for local testing.
- Data Anonymization - Removes personally identifiable information from production datasets to enable safe local development and testing.
- PII Detection and Screening - Identifies and masks personally identifiable information using pattern matching and replacement logic to ensure privacy compliance.
- PII Security Platforms - Offers a comprehensive platform to monitor, detect, and anonymize PII within production datasets for privacy compliance.
- Pipeline Orchestration - Implements an event-sourced coordinator to ensure reliable data pipeline execution with automated retry and failure handling.
- Synthetic Dataset Generation - Produces artificial datasets by analyzing database schemas to maintain relational integrity without using real production data.
- Field Transformations - Modifies specific data columns during synchronization using predefined scripts or models to reshape information.
- Background Data Synchronization - Provides background workers to move datasets between environments without blocking the main application execution.
