Awesome GitHub RepositoriesDirty Data Capture

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Chunjun ist ein verteiltes Datenintegrations-Framework und eine SQL-basierte ETL-Pipeline, die entwickelt wurde, um Daten zwischen heterogenen Quellen zu synchronisieren. Es fungiert als Change-Data-Capture-Tool (CDC) und heterogener Datensynchronisierer und nutzt eine verteilte Verarbeitungsumgebung, um Daten über verschiedene Datenbanktypen hinweg zu bewegen und zu transformieren. Das System zeichnet sich durch seine Plugin-basierte Connector-Architektur aus, die die Entwicklung benutzerdefinierter Source- und Sink-Plugins ermöglicht, um die Konnektivität auf nicht unterstützte Datensysteme auszuweiten. Es unterstützt Echtzeit-Change-Data-Capture aus relationalen Datenbank-Logs und implementiert Schema-Evolution-Propagation, um strukturelle Änderungen automatisch von Quell- auf Zieltabellen anzuwenden. Das Framework bietet Funktionen für inkrementelle Datensynchronisierung und quellübergreifende Datenberechnung mittels SQL-Logik. Die Zuverlässigkeit wird durch Checkpoint-basiertes Task-Recovery zur Wiederaufnahme unterbrochener Übertragungen und Dead-Letter-Queues für das Management fehlerhafter Daten zur Prüfung falsch formatierter Datensätze verwaltet. Integrationsaufgaben können über eigenständige Cluster, Yarn oder Kubernetes-Umgebungen bereitgestellt werden, mit Unterstützung für containerisierte Bereitstellung via Docker.