Awesome GitHub RepositoriesReal-Time Data Replication

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

go-mysql ist ein Toolkit für die Programmiersprache Go, das für die Implementierung von MySQL-Protokoll-Handlern, Binary-Log-Replikationssystemen, Mock-Servern und Schema-Parsing-Utilities entwickelt wurde. Es bietet die notwendigen Bibliotheken, um mit MySQL-Servern über native Netzwerkprotokolle und Binary-Log-Streams zu interagieren. Das Projekt ermöglicht die Erstellung benutzerdefinierter Datenbank-Proxys oder Mock-Server durch das Parsen und Dekodieren von Low-Level-Netzwerkpaketen. Es enthält zudem ein Replikationstool zum Streamen und Verarbeiten von Binary-Logs, um Daten über verschiedene Speichersysteme hinweg zu synchronisieren, sowie einen Schema-Parser zum Extrahieren und Analysieren von Datenbankstrukturdefinitionen. Das Toolkit deckt ein breites Spektrum an Datenbankintegrationsfunktionen ab, einschließlich Verbindungsmanagement, Query-Ausführung und der Verwaltung von Echtzeit-Datenreplikations-Workflows. Es unterstützt zudem die Automatisierung von Schema-Migrationen und die Synchronisation von Datensätzen mit externen Speichersystemen.

Stolon ist ein Cloud-Native-Datenbankmanager und Orchestrator für PostgreSQL. Er fungiert als Hochverfügbarkeitsmanager, der darauf ausgelegt ist, Failover, Replikation und Cluster-Management in verteilten Umgebungen zu automatisieren. Das System koordiniert synchrone und asynchrone Datenspiegelung und nutzt einen Service-Discovery-Mechanismus, um Datenbankknoten-Adressen dynamisch zu erkennen. Es leitet Client-Traffic über einen Proxy an die aktuelle Primärinstanz weiter, um den Anwendungszugriff während Rollenwechseln aufrechtzuerhalten. Das Projekt deckt Disaster Recovery durch Point-in-Time-Recovery und die Wartung von Multi-Site-Standby-Clustern ab. Es enthält zudem Funktionen zur Sicherung von Datenbankverbindungen mittels Verschlüsselung und zur automatisierten Erkennung von Prozessadressänderungen innerhalb des Netzwerks.

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a