Awesome GitHub RepositoriesDatabase Replication Tools

TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc

Dokploy is a self-hosted platform-as-a-service designed to simplify the deployment and management of containerized applications and databases. It provides a centralized control plane that decouples administrative management from application workloads, allowing users to oversee infrastructure across multiple server nodes through a unified web interface or a command-line tool. The platform distinguishes itself through an extensive library of pre-configured application templates, enabling the rapid deployment of databases, identity providers, and various productivity or development tools. It sup

This project is a reactive, offline-first NoSQL database engine designed for JavaScript applications. It provides a robust framework for managing application state by synchronizing data across browsers, mobile devices, and server-side runtimes. By treating local storage as the primary source of truth, it enables applications to remain functional without network connectivity, automatically reconciling changes with remote backends once a connection is restored. The database distinguishes itself through a modular architecture that supports cross-environment synchronization and high-performance d

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

This project is a PostgreSQL client library and SQL query builder for JavaScript and TypeScript. It provides a low-level database driver and connection manager to handle database sessions, along with a logical replication client for monitoring real-time changes. The library distinguishes itself with a high-performance bulk data streamer that utilizes the database copy command for importing and exporting large datasets. It also implements a logical replication protocol to facilitate real-time database synchronization through change subscriptions and channel-based notifications. The toolset co

ParadeDB is a database extension that integrates full-text search, vector database capabilities, and real-time analytics directly into a relational engine. It functions as a plugin that adds new storage and query execution capabilities to an existing database architecture. The project distinguishes itself by supporting hybrid search workflows that combine lexical keyword matching with dense and sparse vector similarity in a single query. It utilizes reciprocal rank fusion to merge these ranked result sets and employs logical replication to synchronize data from external instances, removing th

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

Pigsty is a comprehensive database infrastructure orchestration platform designed to automate the full lifecycle of high-availability PostgreSQL clusters. It functions as an infrastructure-as-code framework that manages cluster coordination, node provisioning, and service discovery through idempotent playbooks. By integrating distributed consensus mechanisms, the platform ensures automated failover and consistent state enforcement across diverse environments, including bare metal and virtualized infrastructure. The platform distinguishes itself through a robust suite of operational capabiliti

go-mysql ist ein Toolkit für die Programmiersprache Go, das für die Implementierung von MySQL-Protokoll-Handlern, Binary-Log-Replikationssystemen, Mock-Servern und Schema-Parsing-Utilities entwickelt wurde. Es bietet die notwendigen Bibliotheken, um mit MySQL-Servern über native Netzwerkprotokolle und Binary-Log-Streams zu interagieren. Das Projekt ermöglicht die Erstellung benutzerdefinierter Datenbank-Proxys oder Mock-Server durch das Parsen und Dekodieren von Low-Level-Netzwerkpaketen. Es enthält zudem ein Replikationstool zum Streamen und Verarbeiten von Binary-Logs, um Daten über verschiedene Speichersysteme hinweg zu synchronisieren, sowie einen Schema-Parser zum Extrahieren und Analysieren von Datenbankstrukturdefinitionen. Das Toolkit deckt ein breites Spektrum an Datenbankintegrationsfunktionen ab, einschließlich Verbindungsmanagement, Query-Ausführung und der Verwaltung von Echtzeit-Datenreplikations-Workflows. Es unterstützt zudem die Automatisierung von Schema-Migrationen und die Synchronisation von Datensätzen mit externen Speichersystemen.

Dieses Projekt ist ein Kubernetes-Operator, der für die Bereitstellung und Verwaltung von PostgreSQL-Datenbankclustern in der Produktion mittels deklarativer Konfigurationen entwickelt wurde. Er fungiert als Controller, der den tatsächlichen Zustand von Datenbankclustern mit einem gewünschten Zustand synchronisiert und ein System für Hochverfügbarkeits-Orchestrierung, automatisiertes Backup und Recovery sowie containerisierte Datenbankadministration bereitstellt. Der Operator zeichnet sich durch eine umfassende Datenschutz-Suite aus, die Point-in-Time-Recovery, Multi-Mode-Backups in Cloud-Objektspeicher und Cluster-Cloning unterstützt. Er stellt kontinuierliche Verfügbarkeit durch verteilten Konsens für automatisiertes Failover sicher und unterstützt ausgefeiltes Traffic-Management durch einen integrierten Connection-Pooler. Das Projekt deckt ein breites Spektrum an operativen Fähigkeiten ab, einschließlich synchroner und asynchroner Replikation, Telemetrie-Erfassung über einen dedizierten Monitoring-Stack und sicheres Identitätsmanagement mit automatisierter TLS-Zertifikatsrotation. Es bietet zudem Tools für die Erweiterung von Speichervolumes, Datenbank-Engine-Updates und die Integration verschiedener Datenbankerweiterungen. Der Controller wird mittels anpassbarer Manifeste in einem Cluster installiert, um die deklarative Orchestrierung der Datenbankumgebung zu ermöglichen.

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a

Nominatim is a self-hosted geospatial search engine and geocoding server that utilizes OpenStreetMap data. It provides a complete infrastructure for forward geocoding, converting addresses or place names into geographic coordinates, and reverse geocoding, translating coordinates into human-readable physical addresses. The project features a dedicated data importer that parses raw map data into a PostgreSQL geospatial database. It distinguishes itself through a configurable import pipeline that uses style files to filter map features and an importance-based ranking system to prioritize search

pgdog is a PostgreSQL sharding proxy, distributed SQL router, and connection pooler. It is designed to enable horizontal data distribution by splitting tables and indices across multiple independent servers to scale storage and processing capacity. The project distinguishes itself through online resharding capabilities, using logical replication to move data between shards without application downtime. It supports multiple routing strategies, including hash, list, and range-based query routing, and manages distributed atomic transactions using a two-phase commit process to ensure consistency

pgeasyreplicate ist ein Kommandozeilen-Dienstprogramm zur Orchestrierung von Datenbankmigrationen und logischer Replikation zwischen PostgreSQL-Instanzen. Es fungiert als Migrations-Orchestrator, der den gesamten Lebenszyklus der Datensynchronisierung verwaltet, von der anfänglichen Schema-Propagierung bis zum finalen Übergang des Anwendungs-Traffics. Das Tool zeichnet sich durch zustandsbewusste Switchover-Logik aus, die die Bewegung von Operationen koordiniert, indem sie die Replikationsverzögerung überprüft und Schreibsperren erzwingt, um Datenverlust zu verhindern. Es bietet granulare Kontrolle über die Datenbewegung, indem es Benutzern erlaubt, Tabellen in spezifischen Replikationsgruppen zu organisieren, wodurch sichergestellt wird, dass nur beabsichtigte Datensätze zwischen Quell- und Zielumgebungen synchronisiert werden. Über die Kern-Migrationsaufgaben hinaus enthält das Projekt umfassende Überwachungsfunktionen zur Verfolgung der Synchronisierungsgesundheit und Replikationsverzögerung in Echtzeit. Es unterstützt die Integration mit externen Systemen durch das Senden von Status-Updates und Replikationsmetriken an konfigurierte Webhook-Endpunkte, was eine automatisierte Observability innerhalb bestehender Infrastruktur-Workflows erleichtert.