2 repositorios
Awesome GitHub RepositoriesData Clean Rooms
Secure environments that allow multiple parties to analyze combined datasets without sharing raw data.
Distinguishing note: Candidates refer to physical rooms or chat rooms; this is a privacy-preserving data analysis environment.
Explore 2 awesome GitHub repositories matching data & databases · Data Clean Rooms. Refine with filters or upvote what's useful.
Awesome Data Clean Rooms GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Ver en GitHubEste proyecto es una librería de integración de pandas con AWS y un framework de pipeline de datos diseñado para simplificar el movimiento y la transformación de datos entre la memoria local y los servicios de almacenamiento y análisis de AWS. Funciona como un toolkit de data lake en la nube y gestor de archivos de almacenamiento, permitiendo a los usuarios leer, escribir y transformar datos estructurados a través de varios entornos en la nube. La librería se distingue como un orquestador de cómputo distribuido capaz de gestionar clusters en entornos como EMR para procesar datasets que exceden los límites de memoria de una sola máquina. También proporciona capacidades especializadas para gestionar índices vectoriales y realizar búsquedas de similitud dentro de buckets de almacenamiento en la nube. Su superficie de capacidad más amplia cubre ETL de bases de datos en la nube para servicios como DynamoDB, RDS y Timestream, así como la gestión de catálogos de datos en la nube a través de AWS Glue. Admite análisis de datos sin servidor a través de Athena y Redshift, y proporciona utilidades para gestionar objetos S3, indexar documentos en OpenSearch y analizar registros de CloudWatch.
Executes secure queries within a privacy-preserving clean room environment to retrieve results as data frames.
Python - aws/aws-sdk-pandas
aws/aws-sdk-pandas
4,107Ver en GitHubaws-sdk-pandas es una librería de Python que integra dataframes de pandas con servicios de AWS, actuando como una herramienta ETL de datos en la nube y conector de data lake. Proporciona una interfaz unificada para mover y transformar datos entre dataframes en memoria y almacenamiento en la nube, bases de datos y almacenes de datos. El proyecto se distingue como un orquestador de cómputo distribuido capaz de enviar cargas de trabajo basadas en pandas a clusters EMR y entornos de procesamiento sin servidor. Se especializa además en coordinar el procesamiento de datos distribuido mediante la inicialización de clusters Ray para manejar datasets que exceden la memoria de una sola máquina. La librería cubre una amplia gama de capacidades, incluyendo gestión de almacenamiento de objetos para S3, ejecución de consultas SQL para Athena y Redshift, e integración con bases de datos NoSQL, de grafos y de series temporales. También incluye utilidades para la gestión de metadatos a través del catálogo Glue, indexación de datos en OpenSearch y la gestión de activos de inteligencia de negocios en QuickSight. La funcionalidad adicional incluye la recuperación de secretos, el análisis de registros de CloudWatch y la gestión de conjuntos de reglas de calidad de datos.
Executes protected SQL queries within secure data clean rooms and returns the results as dataframes.
Pythonamazon-athenaamazon-sagemaker-notebookapache-arrow
