1 repositorio
Awesome GitHub RepositoriesDataFrame Cloud Integrations
Mechanisms for transferring and transforming data between in-memory data frames and cloud storage services.
Distinguishing note: Candidates focus on project moves or local files, not the bridge between pandas data frames and cloud services
Explore 1 awesome GitHub repository matching data & databases · DataFrame Cloud Integrations. Refine with filters or upvote what's useful.
Awesome DataFrame Cloud Integrations GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Ver en GitHubEste proyecto es una librería de integración de pandas con AWS y un framework de pipeline de datos diseñado para simplificar el movimiento y la transformación de datos entre la memoria local y los servicios de almacenamiento y análisis de AWS. Funciona como un toolkit de data lake en la nube y gestor de archivos de almacenamiento, permitiendo a los usuarios leer, escribir y transformar datos estructurados a través de varios entornos en la nube. La librería se distingue como un orquestador de cómputo distribuido capaz de gestionar clusters en entornos como EMR para procesar datasets que exceden los límites de memoria de una sola máquina. También proporciona capacidades especializadas para gestionar índices vectoriales y realizar búsquedas de similitud dentro de buckets de almacenamiento en la nube. Su superficie de capacidad más amplia cubre ETL de bases de datos en la nube para servicios como DynamoDB, RDS y Timestream, así como la gestión de catálogos de datos en la nube a través de AWS Glue. Admite análisis de datos sin servidor a través de Athena y Redshift, y proporciona utilidades para gestionar objetos S3, indexar documentos en OpenSearch y analizar registros de CloudWatch.
Simplifies the movement and transformation of data between local memory data frames and AWS cloud services.
Python
