Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql este un toolkit pentru limbajul de programare Go conceput pentru implementarea handlerelor de protocol MySQL, a sistemelor de replicare a log-urilor binare, a serverelor mock și a utilitarelor de parsare a schemelor. Oferă bibliotecile necesare pentru a interacționa cu serverele MySQL prin protocoale de rețea native și fluxuri de log-uri binare. Proiectul permite crearea de proxy-uri de baze de date personalizate sau servere mock prin parsarea și decodarea pachetelor de rețea la nivel scăzut. Include, de asemenea, un instrument de replicare pentru streaming-ul și procesarea log-urilor binare pentru a sincroniza datele între diferite sisteme de stocare, alături de un parser de schemă pentru extragerea și analizarea definițiilor structurale ale bazei de date. Toolkit-ul acoperă o gamă largă de capabilități de integrare a bazelor de date, inclusiv gestionarea conexiunilor, execuția interogărilor și gestionarea fluxurilor de lucru de replicare a datelor în timp real. De asemenea, suportă automatizarea migrărilor de schemă și sincronizarea înregistrărilor către sisteme de stocare externe.

Acest proiect este un driver de bază de date MySQL pentru Node.js care stabilește conexiuni de rețea și execută interogări SQL folosind un protocol de comunicare nativ. Acesta funcționează ca un client SQL asincron, oferind o interfață de interogare bazată pe promisiuni și suport pentru tipare async/await pentru a gestiona operațiunile de bază de date non-blocante. Biblioteca include o implementare completă a protocolului MySQL, servind ca set de instrumente pentru construirea de servere de baze de date personalizate, proxy-uri sau clienți. De asemenea, operează ca un manager de pool de conexiuni și un instrument de prevenire a injecțiilor, utilizând interogări pregătite și parametrizate pentru a securiza interacțiunile cu baza de date. Proiectul acoperă o gamă largă de capabilități de integrare a bazelor de date, inclusiv coordonarea tranzacțiilor atomice, streaming-ul jurnalelor binare și streaming-ul de date tabelare pentru importuri în masă. Gestionează ciclurile de viață ale resurselor prin curățarea automată a conexiunilor și oferă diverse mecanisme de autentificare, cum ar fi autentificarea prin hash de parolă și negocierea securizată a handshake-ului. Conectivitatea este susținută suplimentar prin criptare SSL, compresia traficului de rețea și capacitatea de a ruta traficul prin transporturi duplex personalizate.

wal-g este un instrument de backup în cloud pentru baze de date și un arhivator de log-uri write-ahead conceput pentru recuperarea în caz de dezastru și recuperarea la un moment dat (point-in-time). Arhivează starea bazei de date și log-urile de tranzacție către furnizorii de stocare în cloud pentru a asigura durabilitatea datelor pe termen lung. Proiectul oferă un manager pentru comprimarea, criptarea și curățarea backup-urilor bazei de date stocate în stocarea de obiecte în cloud. Acesta permite în mod specific restaurarea unei baze de date la un timestamp specific prin preluarea backup-urilor de bază și reluarea log-urilor de tranzacție. Capabilitățile instrumentului acoperă backup-ul și restaurarea multi-motor, inclusiv generarea de backup-uri complete și delta. Gestionează ciclul de viață al backup-ului prin urmărirea inventarului și politici automate de curățare și include utilitare pentru verificarea integrității arhivelor de log-uri și a fișierelor de tabel. Un proxy local este disponibil pentru a emula API-urile de stocare în cloud pentru testarea operațiunilor de backup și restaurare.