Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql 是一个为 Go 编程语言设计的工具包，旨在实现 MySQL 协议处理程序、二进制日志复制系统、模拟服务器和模式解析工具。它提供了通过原生网络协议和二进制日志流与 MySQL 服务器交互所需的库。 该项目通过解析和解码底层网络数据包，支持创建自定义数据库代理或模拟服务器。它还包括一个用于流式传输和处理二进制日志以在不同存储系统间同步数据的复制工具，以及一个用于提取和分析数据库结构定义的模式解析器。 该工具包涵盖了广泛的数据库集成功能，包括连接管理、查询执行以及实时数据复制工作流的管理。它还支持模式迁移的自动化以及将记录同步到外部存储系统。

该项目是一个用于 Node.js 的 MySQL 数据库驱动程序，通过原生通信协议建立网络连接并执行 SQL 查询。它作为异步 SQL 客户端，提供基于 Promise 的查询接口和对 async/await 模式的支持，以管理非阻塞数据库操作。 该库包含完整的 MySQL 协议实现，可作为构建自定义数据库服务器、代理或客户端的工具包。它还作为连接池管理器和注入预防工具，利用预处理语句和参数化查询来保护数据库交互。 该项目涵盖了广泛的数据库集成功能，包括原子事务协调、二进制日志流式传输以及用于批量导入的表格数据流式传输。它通过自动连接清理管理资源生命周期，并提供多种身份验证机制，如密码哈希验证和安全握手协商。 连接性进一步通过 SSL 加密、网络流量压缩以及通过自定义双工流传输路由流量的能力得到支持。

wal-g 是一个数据库云备份工具和预写式日志（WAL）归档器，专为灾难恢复和时间点恢复而设计。它将数据库状态和事务日志归档到云存储提供商，以确保数据的长期持久性。 该项目提供了一个管理器，用于压缩、加密和清理存储在云对象存储中的数据库备份。它特别支持通过获取基础备份并重放事务日志，将数据库恢复到特定时间点。 该工具的功能涵盖多引擎备份和恢复，包括生成全量和增量备份。它通过库存跟踪和自动清理策略管理备份生命周期，并包含用于验证日志归档和表文件完整性的实用程序。 提供了一个本地代理来模拟云存储 API，用于测试备份和恢复操作。