Awesome GitHub RepositoriesCross-Source Data Integration

Pentaho Kettle 是一个企业级 ETL 数据集成平台，旨在在不同源和目标数据库之间提取、转换和加载数据。它充当元数据驱动的编排器，利用可视化工作流设计器来创建和管理复杂的数据任务序列和转换管道。 该系统的特点是其分布式数据处理引擎，可在服务器节点集群上执行工作负载以提高吞吐量。它采用基于插件的架构，允许通过外部 JAR 文件扩展平台，以提供与各种数据库和云服务的连接。 该平台涵盖了广泛的数据集成功能，包括批量加载、远程文件管理和数据结构转换。它提供用于数据质量验证、管道自动化和作业生命周期管理的工具，以及用于跟踪服务器健康状况和实时执行状态的监控实用程序。

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Octosql 是一个联邦 SQL 查询引擎、数据转换器和流式 SQL 处理器。它允许用户跨多个异构数据源（包括不同类型的数据库和文件格式）执行单一 SQL 语句，从而合并并转换结果集。 该系统的独特之处在于将 CSV、JSONLines 和 Parquet 文件视为虚拟表，并利用基于插件的架构扩展对外部存储引擎的连接。它作为无限数据流的流式处理器，使用水印（watermarks）、撤回（retractions）和翻滚窗口（tumbling windows）来维持乱序事件的一致性。此外，它还可用作 SQL 数据生成器，通过表值函数生成合成数据集和记录流。 该引擎具备跨源数据连接和多源分析能力，并通过源端谓词下推（predicate push-down）进行优化，以减少数据传输。它通过包含联合类型的静态类型系统管理复杂数据，并提供查询执行计划可视化功能以增强可观测性。

本项目是一个全面的 pandas 数据分析教程和指南，旨在帮助学习数据处理与分析。它涵盖了表格数据处理、时间序列分析，并提供了清洗、合并及转换数据集的结构化方法。 该仓库还充当数据特征工程课程，提供关于构建和选择数据集特征以提升机器学习模型性能的教程。此外，它还包含用于执行逐元素数学计算和矩阵操作的向量化数据处理指南。 内容涵盖了广泛的功能，包括数据清洗工作流、数据集成任务和表格数据分析。它还提供了处理文本信息、处理分类数据以及优化大规模数据集执行速度的指导。 项目以一系列 Jupyter Notebook 的形式呈现，包含实践练习和针对性的练习题。

Calcite 是一个用于解析、优化并将 SQL 查询转换为关系代数以在不同数据源上执行的框架。它既是一个跨源查询引擎，也是一个 SQL 解析库和关系代数优化器。 该项目提供了一个基于成本的优化引擎，利用可插拔规则将逻辑查询计划转换为高效的物理执行计划。它利用转换适配器将标准 SQL 请求转换为外部数据库和消息系统的原生格式，从而实现异构存储系统之间的数据联邦。 该系统涵盖了完整的查询生命周期，包括 SQL 解析和模式验证、将表达式转换为代数运算符，以及选择高效的执行计划。它还包含一个用于执行查询和管理数据源连接的命令行界面。

Davinci 是一个商业智能和数据可视化平台，用于构建交互式仪表板和报告。它作为一个基于 SQL 的仪表板构建器和多租户分析服务，通过 JDBC 和 CSV 文件连接到数据库，将原始数据转换为可视化组件。 该平台以其细粒度的安全模型而著称，包括与 LDAP 和 OAuth2 身份验证集成的行级和列级权限。它还提供了一个嵌入式可视化工具，允许通过 URL 和框架将安全的、参数化的图表和仪表板插入到外部应用程序中。 该系统涵盖了广泛的能力，包括使用 SQL 模板进行数据建模、用于响应式仪表板的拖放式布局引擎，以及多种可视化类型，如桑基图、雷达图和地理地图。它还包括用于调度基于电子邮件的报告的自动化功能，并利用键值缓存来优化查询性能。

esProc 是一个分布式 ETL 框架和嵌入式数据计算引擎。它为 Java 虚拟机提供了一种结构化数据语言，专为关系查询、复杂数据计算和结构化数据分析而设计。 该系统具有自然语言数据查询界面，利用大语言模型将请求转换为针对结构化数据集的可执行查询。它采用具有简洁语法的领域特定查询语言来建立表关系并检索信息。 该平台涵盖跨不同关系型和 NoSQL 源的数据集成，并管理 ETL 工作流以在文件和数据库之间移动数据。其他功能包括结构化数据报告生成、用于分步执行可视化的实时网格界面，以及集成自定义外部共享库的能力。

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

SimpleTransformers 是一个用于训练和微调 Transformer 模型以执行各种自然语言处理任务的高级框架。它作为一个开发文本分类、命名实体识别和问答模型的工具包，同时也可用作序列到序列工具和文本嵌入生成器。 该库通过提供能够处理和分类结合文本和图像输入数据的多模态模型训练器而脱颖而出。它进一步支持用于对话式 AI 训练、语言模型生成和用于信息检索系统的密集文档检索的专用工作流。 该框架涵盖了广泛的功能，包括具有提前停止功能的训练工作流管理、通过量化进行的模型性能优化，以及创建自定义领域特定分词器。它还通过外部遥测仪表板集成了实验跟踪和预测可视化。

Chunjun 是一个分布式数据集成框架和基于 SQL 的 ETL 流水线，旨在实现异构数据源之间的数据同步。它作为一款变更数据捕获（CDC）工具和异构数据同步器，利用分布式处理环境在不同数据库类型之间迁移和转换数据。 该系统的特色在于其基于插件的连接器架构，允许开发自定义源和目标插件，以扩展对非原生支持数据系统的连接。它支持从关系型数据库日志中进行实时变更数据捕获，并实现模式演进传播，自动将结构变更从源表应用到目标表。 该框架提供了增量数据同步和使用 SQL 逻辑进行跨源数据计算的能力。可靠性通过基于检查点的任务恢复机制来管理，以恢复中断的传输，并利用死信队列进行脏数据管理，以审计格式错误的数据记录。 集成任务可部署在独立集群、Yarn 或 Kubernetes 环境中，并支持通过 Docker 进行容器化部署。