1 repositorio
Awesome GitHub RepositoriesCloud Query Engine Normalizers
Components that transform schemas to be compatible with specific cloud query engines and catalogs.
Distinct from Data Normalization Layers: Distinct from general API normalization by focusing on cloud query engine and catalog compatibility.
Explore 1 awesome GitHub repository matching software engineering & architecture · Cloud Query Engine Normalizers. Refine with filters or upvote what's useful.
Awesome Cloud Query Engine Normalizers GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Ver en GitHubEste proyecto es una librería de integración de pandas con AWS y un framework de pipeline de datos diseñado para simplificar el movimiento y la transformación de datos entre la memoria local y los servicios de almacenamiento y análisis de AWS. Funciona como un toolkit de data lake en la nube y gestor de archivos de almacenamiento, permitiendo a los usuarios leer, escribir y transformar datos estructurados a través de varios entornos en la nube. La librería se distingue como un orquestador de cómputo distribuido capaz de gestionar clusters en entornos como EMR para procesar datasets que exceden los límites de memoria de una sola máquina. También proporciona capacidades especializadas para gestionar índices vectoriales y realizar búsquedas de similitud dentro de buckets de almacenamiento en la nube. Su superficie de capacidad más amplia cubre ETL de bases de datos en la nube para servicios como DynamoDB, RDS y Timestream, así como la gestión de catálogos de datos en la nube a través de AWS Glue. Admite análisis de datos sin servidor a través de Athena y Redshift, y proporciona utilidades para gestionar objetos S3, indexar documentos en OpenSearch y analizar registros de CloudWatch.
Transforms column names and data types into formats required by specific cloud query engines and catalogs.
Python
