1 repository
Awesome GitHub RepositoriesDataFrame Cloud Integrations
Mechanisms for transferring and transforming data between in-memory data frames and cloud storage services.
Distinguishing note: Candidates focus on project moves or local files, not the bridge between pandas data frames and cloud services
Explore 1 awesome GitHub repository matching data & databases · DataFrame Cloud Integrations. Refine with filters or upvote what's useful.
Awesome DataFrame Cloud Integrations GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Vezi pe GitHubAcest proiect este o bibliotecă de integrare AWS pandas și framework de pipeline de date conceput pentru a simplifica mișcarea și transformarea datelor între memoria locală și serviciile de stocare și analiză AWS. Acesta funcționează ca un toolkit de data lake cloud și manager de fișiere de stocare, permițând utilizatorilor să citească, să scrie și să transforme date structurate în diverse medii cloud. Biblioteca se distinge ca un orchestrator de calcul distribuit capabil să gestioneze clustere în medii precum EMR pentru a procesa seturi de date care depășesc limitele de memorie ale unei singure mașini. Oferă, de asemenea, capabilități specializate pentru gestionarea indicilor vectoriali și efectuarea căutărilor de similaritate în bucket-urile de stocare cloud. Suprafața sa mai largă de capabilități acoperă ETL pentru baze de date cloud pentru servicii precum DynamoDB, RDS și Timestream, precum și gestionarea catalogului de date cloud prin AWS Glue. Suportă analiza datelor serverless prin Athena și Redshift și oferă utilitare pentru gestionarea obiectelor S3, indexarea documentelor în OpenSearch și analizarea log-urilor CloudWatch.
Simplifies the movement and transformation of data between local memory data frames and AWS cloud services.
Python
