1 repository
Awesome GitHub RepositoriesCloud Database ETL
Tools for extracting, transforming, and loading data between local memory and cloud-native databases.
Distinct from Vector Database ETL Tools: Distinct from Vector Database ETL: covers a broad range of AWS databases like DynamoDB, RDS, and Timestream, not just vector stores.
Explore 1 awesome GitHub repository matching data & databases · Cloud Database ETL. Refine with filters or upvote what's useful.
Awesome Cloud Database ETL GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Vezi pe GitHubAcest proiect este o bibliotecă de integrare AWS pandas și framework de pipeline de date conceput pentru a simplifica mișcarea și transformarea datelor între memoria locală și serviciile de stocare și analiză AWS. Acesta funcționează ca un toolkit de data lake cloud și manager de fișiere de stocare, permițând utilizatorilor să citească, să scrie și să transforme date structurate în diverse medii cloud. Biblioteca se distinge ca un orchestrator de calcul distribuit capabil să gestioneze clustere în medii precum EMR pentru a procesa seturi de date care depășesc limitele de memorie ale unei singure mașini. Oferă, de asemenea, capabilități specializate pentru gestionarea indicilor vectoriali și efectuarea căutărilor de similaritate în bucket-urile de stocare cloud. Suprafața sa mai largă de capabilități acoperă ETL pentru baze de date cloud pentru servicii precum DynamoDB, RDS și Timestream, precum și gestionarea catalogului de date cloud prin AWS Glue. Suportă analiza datelor serverless prin Athena și Redshift și oferă utilitare pentru gestionarea obiectelor S3, indexarea documentelor în OpenSearch și analizarea log-urilor CloudWatch.
Enables efficient movement of structured data between pandas and AWS databases including DynamoDB, RDS, and Timestream.
Python
