Awesome GitHub RepositoriesReal-Time Data Replication

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

go-mysql este un toolkit pentru limbajul de programare Go conceput pentru implementarea handlerelor de protocol MySQL, a sistemelor de replicare a log-urilor binare, a serverelor mock și a utilitarelor de parsare a schemelor. Oferă bibliotecile necesare pentru a interacționa cu serverele MySQL prin protocoale de rețea native și fluxuri de log-uri binare. Proiectul permite crearea de proxy-uri de baze de date personalizate sau servere mock prin parsarea și decodarea pachetelor de rețea la nivel scăzut. Include, de asemenea, un instrument de replicare pentru streaming-ul și procesarea log-urilor binare pentru a sincroniza datele între diferite sisteme de stocare, alături de un parser de schemă pentru extragerea și analizarea definițiilor structurale ale bazei de date. Toolkit-ul acoperă o gamă largă de capabilități de integrare a bazelor de date, inclusiv gestionarea conexiunilor, execuția interogărilor și gestionarea fluxurilor de lucru de replicare a datelor în timp real. De asemenea, suportă automatizarea migrărilor de schemă și sincronizarea înregistrărilor către sisteme de stocare externe.

Stolon este un manager și orchestrator de baze de date cloud-native pentru PostgreSQL. Funcționează ca un manager de înaltă disponibilitate conceput pentru a automatiza failover-ul, replicarea și gestionarea clusterelor în medii distribuite. Sistemul coordonează oglindirea sincronă și asincronă a datelor și utilizează un mecanism de descoperire a serviciilor pentru a detecta dinamic adresele nodurilor bazei de date. Direcționează traficul clienților către instanța primară curentă printr-un proxy pentru a menține accesul aplicației în timpul comutărilor de rol. Proiectul acoperă recuperarea în caz de dezastru prin point-in-time recovery și menținerea clusterelor standby multi-site. Include, de asemenea, capabilități pentru securizarea conexiunilor la baza de date prin criptare și automatizarea detectării schimbărilor de adresă ale proceselor în rețea.

RedisShake este un instrument de migrare și sincronizare pentru instanțele Redis și Valkey. Acesta facilitează transferul de date între deployment-uri de tip standalone, sentinel și cluster, acționând ca un migrator de baze de date cross-version și ca utilitar pentru restaurarea datelor din fișiere de backup. Proiectul oferă un pipeline programabil de transformare a datelor care permite filtrarea cheilor, remaparea indicilor bazelor de date și executarea de scripturi Lua pentru a modifica comenzi și chei în timpul tranzitului. Suportă sincronizarea fără downtime prin replicarea snapshot-urilor și streaming-ul modificărilor incrementale în timp real. Instrumentul acoperă o gamă largă de metode de extracție, inclusiv migrarea bazată pe replicare, migrarea bazată pe scanare și restaurarea din fișiere de backup. Include capabilități pentru descoperirea nodurilor de cluster, rezoluția master-ului sentinel și verificarea compatibilității versiunilor pentru a asigura stabilitatea în timpul transferurilor între versiuni diferite.