Awesome GitHub RepositoriesPlugin-Based ETL Frameworks

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Pentaho Kettle es una plataforma empresarial de integración de datos ETL diseñada para extraer, transformar y cargar datos entre fuentes dispares y bases de datos de destino. Funciona como un orquestador basado en metadatos que utiliza un diseñador de flujo de trabajo visual para crear y gestionar secuencias complejas de tareas de datos y tuberías de transformación. El sistema se distingue por su motor de procesamiento de datos distribuido, que ejecuta cargas de trabajo a través de clústeres de nodos de servidor para aumentar el rendimiento. Emplea una arquitectura basada en plugins, lo que permite extender la plataforma mediante archivos JAR externos para proporcionar conectividad a diversas bases de datos y servicios en la nube. La plataforma cubre una amplia gama de capacidades de integración de datos, incluyendo carga masiva, gestión remota de archivos y transformación de estructuras de datos. Proporciona herramientas para la validación de la calidad de los datos, automatización de tuberías y gestión del ciclo de vida de los trabajos, junto con utilidades de monitoreo para rastrear la salud del servidor y el estado de ejecución en tiempo real.

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

dlt es una herramienta de ingesta de datos en Python y framework de pipeline ETL diseñado para obtener datos de diversas fuentes y persistirlos en destinos estructurados. Funciona como un motor de inferencia de esquemas que detecta automáticamente tipos de datos y aplana estructuras JSON anidadas en tablas relacionales, moviendo datos desde fuentes a lakehouses, almacenes de datos o bases de datos vectoriales. El proyecto destaca por la generación de pipelines impulsada por IA, utilizando modelos de lenguaje de gran tamaño para crear código de extracción y conectores para APIs REST. También admite almacenamiento vectorial multimodal y población especializada de bases de datos vectoriales para soportar aplicaciones de IA y machine learning. El framework cubre una amplia gama de capacidades, incluyendo evolución automática de esquemas, carga incremental de datos mediante seguimiento de estado y validación de calidad de datos mediante la aplicación de contratos de datos. Proporciona herramientas para la normalización de datos relacionales, transformaciones pre y post-carga, y una variedad de adaptadores de destino para bases de datos SQL y almacenes de objetos en la nube. La observabilidad se maneja a través de paneles de ejecución de pipelines, seguimiento de linaje de columnas y verificación de versiones de esquema mediante hashes basados en contenido.