Awesome GitHub RepositoriesCross-Source Data Integration

Pentaho Kettle es una plataforma empresarial de integración de datos ETL diseñada para extraer, transformar y cargar datos entre fuentes dispares y bases de datos de destino. Funciona como un orquestador basado en metadatos que utiliza un diseñador de flujo de trabajo visual para crear y gestionar secuencias complejas de tareas de datos y tuberías de transformación. El sistema se distingue por su motor de procesamiento de datos distribuido, que ejecuta cargas de trabajo a través de clústeres de nodos de servidor para aumentar el rendimiento. Emplea una arquitectura basada en plugins, lo que permite extender la plataforma mediante archivos JAR externos para proporcionar conectividad a diversas bases de datos y servicios en la nube. La plataforma cubre una amplia gama de capacidades de integración de datos, incluyendo carga masiva, gestión remota de archivos y transformación de estructuras de datos. Proporciona herramientas para la validación de la calidad de los datos, automatización de tuberías y gestión del ciclo de vida de los trabajos, junto con utilidades de monitoreo para rastrear la salud del servidor y el estado de ejecución en tiempo real.

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Octosql es un motor de consultas SQL federado, transformador de datos y procesador de SQL en streaming. Permite a los usuarios ejecutar sentencias SQL únicas a través de múltiples fuentes de datos dispares, incluyendo diferentes tipos de bases de datos y formatos de archivo, para combinar y transformar resultados en un conjunto unificado. El sistema se distingue por tratar archivos CSV, JSONLines y Parquet como tablas virtuales y utilizar una arquitectura basada en plugins para extender la conectividad a motores de almacenamiento externos. Funciona como un procesador de streaming para flujos de datos infinitos, utilizando marcas de agua (watermarks), retracciones y ventanas deslizantes (tumbling windows) para mantener la consistencia en eventos fuera de orden. Además, sirve como generador de datos SQL capaz de producir conjuntos de datos sintéticos y flujos de registros mediante funciones con valores de tabla. El motor incluye capacidades para realizar joins entre fuentes de datos y análisis multi-fuente, optimizado mediante el push-down de predicados en el lado de la fuente para reducir la transferencia de datos. Gestiona datos complejos a través de un sistema de tipos estáticos con tipos unión y proporciona observabilidad mediante la visualización de planes de ejecución de consultas.

Este proyecto es un tutorial completo de análisis de datos de pandas y guía de instrucción diseñada para aprender la manipulación y el análisis de datos. Sirve como una guía de procesamiento de datos tabulares y un manual para el análisis de series temporales, proporcionando un enfoque estructurado para limpiar, fusionar y transformar conjuntos de datos. El repositorio funciona como un curso de ingeniería de características de datos, proporcionando tutoriales sobre la construcción y selección de características de conjuntos de datos para mejorar el rendimiento del modelo de aprendizaje automático. También incluye una guía de operaciones de datos vectorizadas para realizar cálculos matemáticos elemento a elemento y manipulaciones de matrices. El material cubre una amplia gama de capacidades, incluyendo flujos de trabajo de limpieza de datos, tareas de integración de datos y análisis de datos tabulares. Proporciona orientación sobre el procesamiento de información textual, el manejo de datos categóricos y la optimización de la velocidad de ejecución para grandes conjuntos de datos. El proyecto se entrega como una serie de Jupyter Notebooks que contienen ejercicios prácticos y problemas de práctica específicos.

Calcite es un framework para analizar, optimizar y traducir consultas SQL a álgebra relacional para su ejecución en diversas fuentes de datos. Funciona como un motor de consultas entre fuentes, una librería de análisis SQL y un optimizador de álgebra relacional. El proyecto proporciona un motor de optimización basado en costos que transforma planes de consulta lógicos en planes de ejecución física eficientes mediante reglas conectables. Utiliza adaptadores de traducción para convertir solicitudes SQL estándar a los formatos nativos de bases de datos externas y sistemas de mensajería, permitiendo la federación de datos entre sistemas de almacenamiento heterogéneos. El sistema cubre el ciclo de vida completo de la consulta, incluyendo el análisis y validación de SQL frente a esquemas, la traducción de expresiones a operadores algebraicos y la selección de planes de ejecución eficientes. También incluye una interfaz de línea de comandos para ejecutar consultas y gestionar conexiones a fuentes de datos.

Davinci es una plataforma de inteligencia de negocios y visualización de datos utilizada para construir dashboards e informes interactivos. Funciona como un constructor de dashboards basado en SQL y un servicio de analítica multi-tenant que se conecta a bases de datos mediante JDBC y archivos CSV para transformar datos crudos en componentes visuales. La plataforma se distingue por su modelo de seguridad granular, que incluye permisos a nivel de fila y columna integrados con autenticación LDAP y OAuth2. También proporciona una herramienta de visualización embebida que permite insertar gráficos y dashboards parametrizados y seguros en aplicaciones externas mediante URLs y frames. El sistema cubre una amplia gama de capacidades, incluyendo modelado de datos con plantillas SQL, un motor de diseño drag-and-drop para dashboards responsivos y una amplia variedad de tipos de visualización como diagramas de Sankey, gráficos de radar y mapas geográficos. Incluye además automatización para programar informes por correo electrónico y utiliza caché de clave-valor para optimizar el rendimiento de las consultas.

esProc es un framework ETL distribuido y motor de computación de datos embebido. Proporciona un lenguaje de datos estructurados para la Java Virtual Machine, diseñado para consultas relacionales, computación de datos compleja y análisis de datos estructurados. El sistema cuenta con una interfaz de consulta de datos en lenguaje natural que aprovecha modelos de lenguaje grandes para traducir solicitudes en consultas ejecutables contra conjuntos de datos estructurados. Emplea un lenguaje de consulta específico del dominio con una sintaxis concisa para establecer relaciones entre tablas y recuperar información. La plataforma cubre la integración de datos a través de fuentes relacionales y NoSQL dispares y gestiona flujos de trabajo ETL para mover datos entre archivos y bases de datos. Las capacidades adicionales incluyen la generación de informes de datos estructurados, una interfaz de cuadrícula en tiempo real para la visualización de la ejecución paso a paso y la capacidad de integrar bibliotecas compartidas externas personalizadas.

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

SimpleTransformers es un framework de alto nivel para entrenar y ajustar modelos transformer para diversas tareas de procesamiento de lenguaje natural. Funciona como un kit de herramientas para desarrollar modelos de clasificación de texto, reconocimiento de entidades nombradas y respuesta a preguntas, sirviendo también como herramienta de secuencia a secuencia y generador de embeddings de texto. La biblioteca se distingue por proporcionar un entrenador de modelos multimodales capaz de procesar y clasificar datos que combinan entradas de texto e imagen. Además, admite flujos de trabajo especializados para el entrenamiento de IA conversacional, generación de modelos de lenguaje y recuperación densa de documentos para sistemas de recuperación de información. El framework cubre una amplia gama de capacidades, incluyendo la gestión del flujo de trabajo de entrenamiento con parada temprana (early stopping), optimización del rendimiento del modelo mediante cuantización y la creación de tokenizadores personalizados específicos del dominio. También integra el seguimiento de experimentos y la visualización de predicciones mediante paneles de telemetría externos.

Chunjun es un framework de integración de datos distribuido y pipeline ETL basado en SQL diseñado para sincronizar datos entre fuentes heterogéneas. Funciona como una herramienta de captura de datos modificados (CDC) y un sincronizador de datos heterogéneos, utilizando un entorno de procesamiento distribuido para mover y transformar datos a través de diferentes tipos de bases de datos. El sistema se distingue por su arquitectura de conectores basada en plugins, que permite el desarrollo de plugins de origen y destino personalizados para extender la conectividad a sistemas de datos no soportados. Admite la captura de datos modificados en tiempo real desde registros de bases de datos relacionales e implementa la propagación de evolución de esquemas para aplicar automáticamente cambios estructurales de tablas de origen a destino. El framework proporciona capacidades para la sincronización de datos incremental y el cálculo de datos entre fuentes utilizando lógica SQL. La fiabilidad se gestiona a través de la recuperación de tareas basada en puntos de control para reanudar transferencias interrumpidas y colas de mensajes fallidos (dead-letter queues) para la gestión de datos sucios para auditar registros malformados. Las tareas de integración pueden desplegarse a través de clusters independientes, Yarn o entornos Kubernetes, con soporte para despliegue contenedorizado a través de Docker.