Awesome GitHub RepositoriesDatabase Replication Middleware

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

Electric is a Postgres data synchronization engine and replication proxy designed to enable local-first software. It replicates data from Postgres databases to client-side stores in real time using logical replication, allowing applications to maintain a local embedded database for offline access and low-latency updates. The system distinguishes itself by using shapes to filter and authorize specific subsets of database rows and columns before streaming them to clients or edge workers. It further supports multi-user collaboration by integrating a conflict-free replicated data type framework t

Dieses Projekt ist ein Change-Data-Capture-System und eine Synchronisationsschicht, die Daten aus MySQL-Datenbanken in Elasticsearch-Indizes verschiebt. Es fungiert als Relational-to-Document-Mapper, der Datenbanktabellen in durchsuchbare Dokumente umwandelt, um Echtzeit-Datenintegration und Volltextsuche zu ermöglichen. Der Synchronizer zeichnet sich durch die Unterstützung der Denormalisierung relationaler Daten aus, die Eins-zu-Viele-Datenbank-Joins in Eltern-Kind-Dokumentstrukturen umwandelt. Er ermöglicht zudem die Aggregation partitionierter Tabellen unter Verwendung regulärer Ausdrücke, um mehrere Datenbanktabellen in einem einzigen Suchindex zu gruppieren. Das System deckt umfassende Datenmapping- und Transformationsfunktionen ab, einschließlich Feldtypkonvertierung, Schema-Mapping und synchronisierter Filterung von Feldern. Es verwendet ein Pipeline-basiertes Verarbeitungsmodell zum Dekodieren und Zusammenführen von Feldern und nutzt sowohl Snapshot-basiertes Initial-Loading für Baselines als auch Binary-Log-Streaming für Echtzeit-Updates.