1 个仓库
Deploying dependencies as layers in serverless environments to enable data processing.
Distinct from Serverless Deployment: Distinct from Serverless Deployment: specifically focuses on dependency layer management for data processing rather than general code deployment.
Explore 1 awesome GitHub repository matching devops & infrastructure · Serverless Layer Deployment. Refine with filters or upvote what's useful.
aws-sdk-pandas 是一个 Python 库,将 pandas 数据帧与 AWS 服务集成,充当云数据 ETL 工具和数据湖连接器。它提供了一个统一界面,用于在内存中数据帧与云存储、数据库和数据仓库之间移动和转换数据。 该项目作为分布式计算编排器脱颖而出,能够将基于 pandas 的工作负载提交到 EMR 集群和无服务器处理环境。它进一步专门通过 Ray 集群初始化来协调分布式数据处理,以处理超出单机内存的数据集。 该库涵盖了广泛的功能,包括 S3 的对象存储管理、Athena 和 Redshift 的 SQL 查询执行,以及与 NoSQL、图和时间序列数据库的集成。它还包括通过 Glue 目录进行元数据管理、OpenSearch 数据索引以及在 QuickSight 中管理商业智能资产的实用程序。 其他功能包括检索密钥、分析 CloudWatch 日志以及管理数据质量规则集。
Installs dependencies into serverless environments using layers to enable data processing in function-as-a-service models.