Awesome GitHub RepositoriesBatch Write Buffering

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Maxwell est un outil de capture de données de changement (CDC) MySQL et une application de streaming de binlog qui convertit les modifications de base de données en événements JSON structurés. Il fonctionne comme un pipeline de données qui lit les logs binaires MySQL pour synchroniser les changements à travers des index externes, des moteurs de recherche et des systèmes de messagerie distribués tels que Kafka. Le projet fournit des capacités pour maintenir des pistes d'audit persistantes en enregistrant un historique chronologique de toutes les modifications de base de données. Il permet la synchronisation des données en temps réel et l'intégration d'architecture pilotée par événements en diffusant les changements de base de données vers des plateformes externes pour déclencher des flux de travail et notifier des microservices. Le système couvre de larges domaines fonctionnels incluant l'amorçage de données via des instantanés initiaux, la gestion de version de schéma et le filtrage d'événements. Il intègre la gestion du trafic via le routage par clé de partition et fournit une surveillance via des vérifications de santé et des métriques de performance exposées via un point de terminaison HTTP. Les connexions aux bases de données et aux producteurs de streaming sont sécurisées en utilisant SSL et une communication chiffrée.