1 个仓库
Awesome GitHub RepositoriesOptimized DataFrame Storage
Saving structured data frames as optimized files in cloud storage with optional catalog registration.
Distinct from Data Storage Optimizers: Focuses on the high-level saving of data frames rather than low-level storage compression techniques
Explore 1 awesome GitHub repository matching data & databases · Optimized DataFrame Storage. Refine with filters or upvote what's useful.
Awesome Optimized DataFrame Storage GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107在 GitHub 上查看该项目是一个 AWS pandas 集成库和数据流水线框架，旨在简化本地内存与 AWS 存储及分析服务之间的数据移动和转换。它作为一个云数据湖工具包和存储文件管理器，允许用户在各种云环境中读取、写入和转换结构化数据。 该库作为分布式计算编排器脱颖而出，能够在 EMR 等环境中管理集群，以处理超出单机内存限制的数据集。它还提供用于管理向量索引和在云存储桶内执行相似度搜索的专门功能。 其更广泛的功能面涵盖了针对 DynamoDB、RDS 和 Timestream 等服务的云数据库 ETL，以及通过 AWS Glue 进行的云数据目录管理。它支持通过 Athena 和 Redshift 进行无服务器数据分析，并提供用于管理 S3 对象、在 OpenSearch 中索引文档以及分析 CloudWatch 日志的实用程序。
Saves structured data as optimized files in cloud buckets and optionally registers them in a data catalog.
Python
