Awesome GitHub RepositoriesReal-Time Data Replication

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

go-mysql est une boîte à outils pour le langage de programmation Go conçue pour implémenter des gestionnaires de protocole MySQL, des systèmes de réplication de journal binaire, des serveurs mock et des utilitaires d'analyse de schéma. Elle fournit les bibliothèques nécessaires pour interagir avec les serveurs MySQL via des protocoles réseau natifs et des flux de journaux binaires. Le projet permet la création de proxys de base de données personnalisés ou de serveurs mock en analysant et en décodant des paquets réseau de bas niveau. Il inclut également un outil de réplication pour diffuser et traiter les journaux binaires afin de synchroniser les données entre différents systèmes de stockage, ainsi qu'un analyseur de schéma pour extraire et analyser les définitions structurelles de la base de données. La boîte à outils couvre un large éventail de capacités d'intégration de base de données, y compris la gestion des connexions, l'exécution de requêtes et la gestion des flux de travail de réplication de données en temps réel. Elle prend également en charge l'automatisation des migrations de schéma et la synchronisation des enregistrements vers des systèmes de stockage externes.

Stolon est un gestionnaire et orchestrateur de base de données cloud-native pour PostgreSQL. Il fonctionne comme un gestionnaire de haute disponibilité conçu pour automatiser le basculement (failover), la réplication et la gestion de cluster dans des environnements distribués. Le système coordonne la mise en miroir synchrone et asynchrone des données et utilise un mécanisme de découverte de service pour détecter dynamiquement les adresses des nœuds de base de données. Il achemine le trafic client vers l'instance primaire actuelle via un proxy pour maintenir l'accès à l'application lors des changements de rôle. Le projet couvre la reprise après sinistre (disaster recovery) via la récupération à un instant T et la maintenance de clusters de secours multi-sites. Il inclut également des capacités pour sécuriser les connexions à la base de données via le chiffrement et l'automatisation de la détection des changements d'adresse de processus au sein du réseau.

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a