Awesome GitHub RepositoriesDatabase Replication Middleware

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

Electric is a Postgres data synchronization engine and replication proxy designed to enable local-first software. It replicates data from Postgres databases to client-side stores in real time using logical replication, allowing applications to maintain a local embedded database for offline access and low-latency updates. The system distinguishes itself by using shapes to filter and authorize specific subsets of database rows and columns before streaming them to clients or edge workers. It further supports multi-user collaboration by integrating a conflict-free replicated data type framework t

Ce projet est un système de capture de données modifiées (CDC) et une couche de synchronisation qui déplace les données des bases de données MySQL vers des index Elasticsearch. Il fonctionne comme un mappeur relationnel-vers-document, transformant les tables de base de données en documents interrogeables pour permettre l'intégration de données en temps réel et la recherche plein texte. Le synchroniseur se différencie en prenant en charge la dénormalisation des données relationnelles, qui transforme les jointures un-à-plusieurs de la base de données en structures de documents parent-enfant. Il permet également l'agrégation de tables partitionnées, en utilisant des expressions régulières pour regrouper plusieurs tables de base de données dans un seul index de recherche. Le système couvre le mappage et la transformation complets des données, incluant la conversion de types de champs, le mappage de schémas et le filtrage de champs synchronisés. Il emploie un modèle de traitement basé sur un pipeline pour décoder et fusionner les champs, utilisant à la fois le chargement initial basé sur des snapshots pour les bases de référence et le streaming de logs binaires pour les mises à jour en temps réel.