1 repository
Awesome GitHub RepositoriesCloud Query Engine Normalizers
Components that transform schemas to be compatible with specific cloud query engines and catalogs.
Distinct from Data Normalization Layers: Distinct from general API normalization by focusing on cloud query engine and catalog compatibility.
Explore 1 awesome GitHub repository matching software engineering & architecture · Cloud Query Engine Normalizers. Refine with filters or upvote what's useful.
Awesome Cloud Query Engine Normalizers GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Vezi pe GitHubAcest proiect este o bibliotecă de integrare AWS pandas și framework de pipeline de date conceput pentru a simplifica mișcarea și transformarea datelor între memoria locală și serviciile de stocare și analiză AWS. Acesta funcționează ca un toolkit de data lake cloud și manager de fișiere de stocare, permițând utilizatorilor să citească, să scrie și să transforme date structurate în diverse medii cloud. Biblioteca se distinge ca un orchestrator de calcul distribuit capabil să gestioneze clustere în medii precum EMR pentru a procesa seturi de date care depășesc limitele de memorie ale unei singure mașini. Oferă, de asemenea, capabilități specializate pentru gestionarea indicilor vectoriali și efectuarea căutărilor de similaritate în bucket-urile de stocare cloud. Suprafața sa mai largă de capabilități acoperă ETL pentru baze de date cloud pentru servicii precum DynamoDB, RDS și Timestream, precum și gestionarea catalogului de date cloud prin AWS Glue. Suportă analiza datelor serverless prin Athena și Redshift și oferă utilitare pentru gestionarea obiectelor S3, indexarea documentelor în OpenSearch și analizarea log-urilor CloudWatch.
Transforms column names and data types into formats required by specific cloud query engines and catalogs.
Python
