Awesome GitHub RepositoriesDatabase Replication Middleware

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

Electric is a Postgres data synchronization engine and replication proxy designed to enable local-first software. It replicates data from Postgres databases to client-side stores in real time using logical replication, allowing applications to maintain a local embedded database for offline access and low-latency updates. The system distinguishes itself by using shapes to filter and authorize specific subsets of database rows and columns before streaming them to clients or edge workers. It further supports multi-user collaboration by integrating a conflict-free replicated data type framework t

Este proyecto es un sistema de captura de datos modificados (CDC) y capa de sincronización que mueve datos desde bases de datos MySQL a índices de Elasticsearch. Funciona como un mapeador de relacional a documento, transformando tablas de bases de datos en documentos buscables para permitir la integración de datos en tiempo real y la búsqueda de texto completo. El sincronizador se diferencia por admitir la desnormalización de datos relacionales, lo que transforma los joins de base de datos uno-a-muchos en estructuras de documentos padre-hijo. También permite la agregación de tablas particionadas, utilizando patrones de expresiones regulares para agrupar múltiples tablas de bases de datos en un solo índice de búsqueda. El sistema cubre el mapeo y transformación integral de datos, incluyendo conversión de tipos de campo, mapeo de esquemas y filtrado de campos sincronizados. Emplea un modelo de procesamiento basado en pipeline para decodificar y fusionar campos, utilizando tanto carga inicial basada en snapshots para líneas base como streaming de logs binarios para actualizaciones en tiempo real.