1 repositorio
Awesome GitHub RepositoriesOptimized DataFrame Storage
Saving structured data frames as optimized files in cloud storage with optional catalog registration.
Distinct from Data Storage Optimizers: Focuses on the high-level saving of data frames rather than low-level storage compression techniques
Explore 1 awesome GitHub repository matching data & databases · Optimized DataFrame Storage. Refine with filters or upvote what's useful.
Awesome Optimized DataFrame Storage GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Ver en GitHubEste proyecto es una librería de integración de pandas con AWS y un framework de pipeline de datos diseñado para simplificar el movimiento y la transformación de datos entre la memoria local y los servicios de almacenamiento y análisis de AWS. Funciona como un toolkit de data lake en la nube y gestor de archivos de almacenamiento, permitiendo a los usuarios leer, escribir y transformar datos estructurados a través de varios entornos en la nube. La librería se distingue como un orquestador de cómputo distribuido capaz de gestionar clusters en entornos como EMR para procesar datasets que exceden los límites de memoria de una sola máquina. También proporciona capacidades especializadas para gestionar índices vectoriales y realizar búsquedas de similitud dentro de buckets de almacenamiento en la nube. Su superficie de capacidad más amplia cubre ETL de bases de datos en la nube para servicios como DynamoDB, RDS y Timestream, así como la gestión de catálogos de datos en la nube a través de AWS Glue. Admite análisis de datos sin servidor a través de Athena y Redshift, y proporciona utilidades para gestionar objetos S3, indexar documentos en OpenSearch y analizar registros de CloudWatch.
Saves structured data as optimized files in cloud buckets and optionally registers them in a data catalog.
Python
