Awesome GitHub RepositoriesBig Data Workflow Management

Azkaban 是一个分布式工作流管理器和基于 DAG 的作业编排器，设计为企业级批处理程序。它作为一个基于 Java 的工作流引擎，跨执行器服务器集群调度和执行复杂的作业序列，并具有管理 Hadoop 集群上大数据工作负载的特定功能。 该系统通过分布式执行器模型脱颖而出，该模型通过共享数据库协调状态以确保高可用性。它采用基于插件的架构，允许自定义作业类型和系统功能扩展，包括在不重启执行器服务器的情况下热重载插件的能力。 该平台涵盖了广泛的功能，包括具有条件逻辑的数据管道编排、定期和事件驱动的调度，以及具有 SLA 跟踪的企业监控。它提供细粒度的访问控制和用户模拟以实现安全执行，以及用于执行器负载均衡和资源配额的流量管理工具。 用户可以通过基于 Web 的界面或以编程方式通过工作流执行 API 管理工作流。

aws-sdk-pandas 是一个 Python 库，将 pandas 数据帧与 AWS 服务集成，充当云数据 ETL 工具和数据湖连接器。它提供了一个统一界面，用于在内存中数据帧与云存储、数据库和数据仓库之间移动和转换数据。 该项目作为分布式计算编排器脱颖而出，能够将基于 pandas 的工作负载提交到 EMR 集群和无服务器处理环境。它进一步专门通过 Ray 集群初始化来协调分布式数据处理，以处理超出单机内存的数据集。 该库涵盖了广泛的功能，包括 S3 的对象存储管理、Athena 和 Redshift 的 SQL 查询执行，以及与 NoSQL、图和时间序列数据库的集成。它还包括通过 Glue 目录进行元数据管理、OpenSearch 数据索引以及在 QuickSight 中管理商业智能资产的实用程序。 其他功能包括检索密钥、分析 CloudWatch 日志以及管理数据质量规则集。

Data warehouse learning is a reference implementation of a real-time stream processing system and open-source data lakehouse architecture. It combines stream processing engines, open lakehouse formats, and analytical data warehouses into a complete e-commerce data warehouse system built for both offline and real-time analytics pipelines. The project implements hybrid data warehouse architectures utilizing multi-layer storage models and stream-batch processing pipelines. It features change data capture pipelines that stream database transaction logs into messaging systems, progressive data tra