Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql es un kit de herramientas para el lenguaje de programación Go diseñado para implementar manejadores de protocolo MySQL, sistemas de replicación de registros binarios, servidores simulados y utilidades de análisis de esquemas. Proporciona las bibliotecas necesarias para interactuar con servidores MySQL a través de protocolos de red nativos y flujos de registros binarios. El proyecto permite la creación de proxies de base de datos personalizados o servidores simulados mediante el análisis y la decodificación de paquetes de red de bajo nivel. También incluye una herramienta de replicación para transmitir y procesar registros binarios para sincronizar datos a través de diferentes sistemas de almacenamiento, junto con un analizador de esquemas para extraer y analizar definiciones estructurales de bases de datos. El kit de herramientas cubre una amplia gama de capacidades de integración de bases de datos, incluyendo la gestión de conexiones, ejecución de consultas y la gestión de flujos de trabajo de replicación de datos en tiempo real. También admite la automatización de migraciones de esquemas y la sincronización de registros con sistemas de almacenamiento externos.

This project is a MySQL database driver for Node.js that establishes network connections and executes SQL queries using a native communication protocol. It functions as an asynchronous SQL client, providing a promise-based query interface and support for async/await patterns to manage non-blocking database operations. The library includes a full MySQL protocol implementation, serving as a toolkit for building custom database servers, proxies, or clients. It also operates as a connection pool manager and an injection prevention tool, utilizing prepared statements and parameterized queries to s

wal-g es una herramienta de copia de seguridad en la nube de bases de datos y archivador de logs de escritura anticipada (write-ahead log) diseñado para recuperación ante desastres y recuperación en un punto en el tiempo. Archiva el estado de la base de datos y los logs de transacciones a proveedores de almacenamiento en la nube para asegurar la durabilidad de los datos a largo plazo. El proyecto proporciona un gestor para comprimir, cifrar y podar copias de seguridad de bases de datos almacenadas en almacenamiento de objetos en la nube. Permite específicamente la restauración de una base de datos a una marca de tiempo específica recuperando copias de seguridad base y reproduciendo logs de transacciones. Las capacidades de la herramienta cubren copia de seguridad y restauración multimotor, incluyendo la generación de copias de seguridad completas y delta. Gestiona el ciclo de vida de la copia de seguridad mediante seguimiento de inventario y políticas de poda automatizadas, e incluye utilidades para verificar la integridad de los archivos de log y de tabla. Un proxy local está disponible para emular APIs de almacenamiento en la nube para probar operaciones de copia de seguridad y restauración.