Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql est une boîte à outils pour le langage de programmation Go conçue pour implémenter des gestionnaires de protocole MySQL, des systèmes de réplication de journal binaire, des serveurs mock et des utilitaires d'analyse de schéma. Elle fournit les bibliothèques nécessaires pour interagir avec les serveurs MySQL via des protocoles réseau natifs et des flux de journaux binaires. Le projet permet la création de proxys de base de données personnalisés ou de serveurs mock en analysant et en décodant des paquets réseau de bas niveau. Il inclut également un outil de réplication pour diffuser et traiter les journaux binaires afin de synchroniser les données entre différents systèmes de stockage, ainsi qu'un analyseur de schéma pour extraire et analyser les définitions structurelles de la base de données. La boîte à outils couvre un large éventail de capacités d'intégration de base de données, y compris la gestion des connexions, l'exécution de requêtes et la gestion des flux de travail de réplication de données en temps réel. Elle prend également en charge l'automatisation des migrations de schéma et la synchronisation des enregistrements vers des systèmes de stockage externes.

Ce projet est un pilote de base de données MySQL pour Node.js qui établit des connexions réseau et exécute des requêtes SQL en utilisant un protocole de communication natif. Il fonctionne comme un client SQL asynchrone, fournissant une interface de requête basée sur les promesses et la prise en charge des modèles async/await pour gérer les opérations de base de données non bloquantes. La bibliothèque inclut une implémentation complète du protocole MySQL, servant de boîte à outils pour construire des serveurs de base de données personnalisés, des proxys ou des clients. Elle fonctionne également comme un gestionnaire de pool de connexions et un outil de prévention des injections, utilisant des requêtes préparées et paramétrées pour sécuriser les interactions avec la base de données. Le projet couvre une large gamme de capacités d'intégration de base de données, y compris la coordination de transactions atomiques, le streaming de journaux binaires et le streaming de données tabulaires pour les importations en masse. Il gère les cycles de vie des ressources par un nettoyage automatique des connexions et fournit divers mécanismes d'authentification, tels que l'authentification par hachage de mot de passe et la négociation de poignée de main sécurisée. La connectivité est en outre prise en charge par le chiffrement SSL, la compression du trafic réseau et la possibilité d'acheminer le trafic via des transports de flux duplex personnalisés.

wal-g est un outil de sauvegarde cloud de base de données et un archiveur de journaux de transactions (write-ahead log) conçu pour la reprise après sinistre et la récupération à un instant T. Il archive l'état de la base de données et les journaux de transactions vers des fournisseurs de stockage cloud pour assurer la durabilité des données à long terme. Le projet fournit un gestionnaire pour compresser, chiffrer et élaguer les sauvegardes de base de données stockées dans le stockage objet cloud. Il permet spécifiquement la restauration d'une base de données à un horodatage spécifique en récupérant les sauvegardes de base et en rejouant les journaux de transactions. Les capacités de l'outil couvrent la sauvegarde et la restauration multi-moteurs, incluant la génération de sauvegardes complètes et delta. Il gère le cycle de vie de la sauvegarde via le suivi d'inventaire et des politiques d'élagage automatisées, et inclut des utilitaires pour vérifier l'intégrité des archives de journaux et des fichiers de table. Un proxy local est disponible pour émuler les API de stockage cloud pour tester les opérations de sauvegarde et de restauration.