Awesome GitHub RepositoriesReal-Time Data Replication

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

go-mysql es un kit de herramientas para el lenguaje de programación Go diseñado para implementar manejadores de protocolo MySQL, sistemas de replicación de registros binarios, servidores simulados y utilidades de análisis de esquemas. Proporciona las bibliotecas necesarias para interactuar con servidores MySQL a través de protocolos de red nativos y flujos de registros binarios. El proyecto permite la creación de proxies de base de datos personalizados o servidores simulados mediante el análisis y la decodificación de paquetes de red de bajo nivel. También incluye una herramienta de replicación para transmitir y procesar registros binarios para sincronizar datos a través de diferentes sistemas de almacenamiento, junto con un analizador de esquemas para extraer y analizar definiciones estructurales de bases de datos. El kit de herramientas cubre una amplia gama de capacidades de integración de bases de datos, incluyendo la gestión de conexiones, ejecución de consultas y la gestión de flujos de trabajo de replicación de datos en tiempo real. También admite la automatización de migraciones de esquemas y la sincronización de registros con sistemas de almacenamiento externos.

Stolon es un gestor de bases de datos nativo de la nube y orquestador para PostgreSQL. Funciona como un gestor de alta disponibilidad diseñado para automatizar la conmutación por error (failover), la replicación y la gestión de clústeres en entornos distribuidos. El sistema coordina la duplicación de datos síncrona y asíncrona y utiliza un mecanismo de descubrimiento de servicios para detectar dinámicamente las direcciones de los nodos de la base de datos. Enruta el tráfico del cliente a la instancia primaria actual a través de un proxy para mantener el acceso de la aplicación durante los cambios de rol. El proyecto cubre la recuperación ante desastres mediante recuperación en un punto en el tiempo (PITR) y el mantenimiento de clústeres en espera en múltiples sitios. También incluye capacidades para asegurar las conexiones a la base de datos mediante cifrado y automatizar la detección de cambios de dirección de procesos dentro de la red.

RedisShake es una herramienta de migración y sincronización para instancias de Redis y Valkey. Facilita la transferencia de datos entre despliegues standalone, sentinel y en clúster, actuando como un migrador de bases de datos entre versiones y una utilidad para restaurar datos desde archivos de respaldo. El proyecto ofrece un pipeline de transformación de datos programable que permite filtrar claves, remapear índices de bases de datos y ejecutar scripts Lua para modificar comandos y claves durante el tránsito. Soporta sincronización sin tiempo de inactividad (zero-downtime) mediante la replicación de snapshots y el streaming de cambios incrementales en tiempo real. La herramienta cubre una amplia gama de métodos de extracción, incluyendo migración basada en replicación, migración basada en escaneo y restauración de archivos de respaldo. Incluye capacidades para el descubrimiento de nodos de clúster, resolución de maestros sentinel y verificación de compatibilidad de versiones para garantizar la estabilidad durante las transferencias entre versiones.