1 个仓库
Awesome GitHub RepositoriesAnalytical Query Workflows
Orchestrating the flow of data from cloud query services into analytical dataframes.
Distinct from Big Data Workflow Management: Distinct from Big Data Workflow Management: focuses on the specific analytical pattern of querying and loading into dataframes, not Hadoop cluster management.
Explore 1 awesome GitHub repository matching data & databases · Analytical Query Workflows. Refine with filters or upvote what's useful.
Awesome Analytical Query Workflows GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- aws/aws-sdk-pandas
aws/aws-sdk-pandas
4,107在 GitHub 上查看aws-sdk-pandas 是一个 Python 库，将 pandas 数据帧与 AWS 服务集成，充当云数据 ETL 工具和数据湖连接器。它提供了一个统一界面，用于在内存中数据帧与云存储、数据库和数据仓库之间移动和转换数据。 该项目作为分布式计算编排器脱颖而出，能够将基于 pandas 的工作负载提交到 EMR 集群和无服务器处理环境。它进一步专门通过 Ray 集群初始化来协调分布式数据处理，以处理超出单机内存的数据集。 该库涵盖了广泛的功能，包括 S3 的对象存储管理、Athena 和 Redshift 的 SQL 查询执行，以及与 NoSQL、图和时间序列数据库的集成。它还包括通过 Glue 目录进行元数据管理、OpenSearch 数据索引以及在 QuickSight 中管理商业智能资产的实用程序。 其他功能包括检索密钥、分析 CloudWatch 日志以及管理数据质量规则集。
Facilitates workflows for querying Athena, Redshift, or OpenSearch and loading results into dataframes for analysis.
Pythonamazon-athenaamazon-sagemaker-notebookapache-arrow
