Awesome GitHub RepositoriesDatabase Replication Middleware

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

Electric is a Postgres data synchronization engine and replication proxy designed to enable local-first software. It replicates data from Postgres databases to client-side stores in real time using logical replication, allowing applications to maintain a local embedded database for offline access and low-latency updates. The system distinguishes itself by using shapes to filter and authorize specific subsets of database rows and columns before streaming them to clients or edge workers. It further supports multi-user collaboration by integrating a conflict-free replicated data type framework t

Acest proiect este un sistem de captură a datelor modificate (CDC) și un strat de sincronizare care mută datele din bazele de date MySQL în indecși Elasticsearch. Funcționează ca un mapper relațional-la-document, transformând tabelele bazei de date în documente căutabile pentru a permite integrarea datelor în timp real și căutarea full-text. Sincronizatorul se diferențiază prin suportul pentru denormalizarea datelor relaționale, care transformă join-urile de tip unu-la-mai-mulți din baza de date în structuri de documente părinte-copil. De asemenea, permite agregarea tabelelor partiționate, utilizând modele de expresii regulate pentru a grupa mai multe tabele de bază de date într-un singur index de căutare. Sistemul acoperă maparea și transformarea cuprinzătoare a datelor, inclusiv conversia tipurilor de câmpuri, maparea schemei și filtrarea câmpurilor sincronizate. Utilizează un model de procesare bazat pe pipeline pentru a decoda și îmbina câmpurile, folosind atât încărcarea inițială bazată pe snapshot-uri pentru linii de bază, cât și streaming-ul jurnalului binar pentru actualizări în timp real.