Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql ist ein Toolkit für die Programmiersprache Go, das für die Implementierung von MySQL-Protokoll-Handlern, Binary-Log-Replikationssystemen, Mock-Servern und Schema-Parsing-Utilities entwickelt wurde. Es bietet die notwendigen Bibliotheken, um mit MySQL-Servern über native Netzwerkprotokolle und Binary-Log-Streams zu interagieren. Das Projekt ermöglicht die Erstellung benutzerdefinierter Datenbank-Proxys oder Mock-Server durch das Parsen und Dekodieren von Low-Level-Netzwerkpaketen. Es enthält zudem ein Replikationstool zum Streamen und Verarbeiten von Binary-Logs, um Daten über verschiedene Speichersysteme hinweg zu synchronisieren, sowie einen Schema-Parser zum Extrahieren und Analysieren von Datenbankstrukturdefinitionen. Das Toolkit deckt ein breites Spektrum an Datenbankintegrationsfunktionen ab, einschließlich Verbindungsmanagement, Query-Ausführung und der Verwaltung von Echtzeit-Datenreplikations-Workflows. Es unterstützt zudem die Automatisierung von Schema-Migrationen und die Synchronisation von Datensätzen mit externen Speichersystemen.

Dieses Projekt ist ein MySQL-Datenbanktreiber für Node.js, der Netzwerkverbindungen herstellt und SQL-Abfragen unter Verwendung eines nativen Kommunikationsprotokolls ausführt. Er fungiert als asynchroner SQL-Client und bietet eine auf Promises basierende Abfrageschnittstelle sowie Unterstützung für async/await-Muster zur Verwaltung nicht blockierender Datenbankoperationen. Die Bibliothek enthält eine vollständige Implementierung des MySQL-Protokolls und dient als Toolkit zum Erstellen benutzerdefinierter Datenbankserver, Proxys oder Clients. Sie fungiert zudem als Connection-Pool-Manager und Tool zur Injektionsprävention, wobei vorbereitete Anweisungen (Prepared Statements) und parametrisierte Abfragen verwendet werden, um Datenbankinteraktionen abzusichern. Das Projekt deckt ein breites Spektrum an Datenbankintegrationsfunktionen ab, einschließlich der Koordination atomarer Transaktionen, Binär-Log-Streaming und tabellarischem Daten-Streaming für Massenimporte. Es verwaltet Ressourcenlebenszyklen durch automatisierte Verbindungsbereinigung und bietet verschiedene Authentifizierungsmechanismen, wie Passwort-Hash-Authentifizierung und sichere Handshake-Aushandlung. Die Konnektivität wird zusätzlich durch SSL-Verschlüsselung, Komprimierung des Netzwerkverkehrs und die Fähigkeit unterstützt, Datenverkehr über benutzerdefinierte Duplex-Stream-Transporte zu leiten.

wal-g ist ein Datenbank-Cloud-Backup-Tool und Write-Ahead-Log-Archiver für Disaster Recovery und Point-in-Time-Recovery. Es archiviert Datenbankstatus und Transaktionslogs bei Cloud-Speicheranbietern, um langfristige Datenhaltbarkeit sicherzustellen. Das Projekt bietet einen Manager zum Komprimieren, Verschlüsseln und Bereinigen von Datenbank-Backups, die in Cloud-Objektspeichern abgelegt sind. Es ermöglicht spezifisch die Wiederherstellung einer Datenbank auf einen bestimmten Zeitstempel durch Abruf von Basis-Backups und Replay von Transaktionslogs. Die Funktionen des Tools decken Multi-Engine-Backup und -Wiederherstellung ab, einschließlich der Generierung von Voll- und Delta-Backups. Es verwaltet den Backup-Lifecycle durch Inventar-Tracking und automatisierte Bereinigungsrichtlinien und enthält Utilities zur Überprüfung der Integrität von Log-Archiven und Tabellendateien. Ein lokaler Proxy ist verfügbar, um Cloud-Speicher-APIs für das Testen von Backup- und Restore-Operationen zu emulieren.