Awesome GitHub RepositoriesBatch Write Buffering

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Maxwell este un instrument de captură a datelor modificate (CDC) MySQL și o aplicație de streaming binlog care convertește modificările bazei de date în evenimente JSON structurate. Acesta funcționează ca o conductă de date care citește log-urile binare MySQL pentru a sincroniza modificările între indici externi, motoare de căutare și sisteme de mesagerie distribuite, cum ar fi Kafka. Proiectul oferă capabilități pentru a menține audit trails persistente prin înregistrarea unui istoric cronologic al tuturor modificărilor bazei de date. Acesta permite sincronizarea datelor în timp real și integrarea arhitecturii bazate pe evenimente prin streaming-ul modificărilor bazei de date către platforme externe pentru a declanșa fluxuri de lucru și a notifica microserviciile. Sistemul acoperă domenii funcționale largi, inclusiv bootstrapping-ul datelor prin snapshot-uri inițiale, gestionarea versiunilor de schemă și filtrarea evenimentelor. Încorporează gestionarea traficului prin rutare bazată pe chei de partiție și oferă monitorizare prin verificări de sănătate și metrici de performanță expuse printr-un endpoint HTTP. Conexiunile la baze de date și producătorii de streaming sunt securizate folosind SSL și comunicare criptată.