1 Repo
Awesome GitHub RepositoriesCloud Database ETL
Tools for extracting, transforming, and loading data between local memory and cloud-native databases.
Distinct from Vector Database ETL Tools: Distinct from Vector Database ETL: covers a broad range of AWS databases like DynamoDB, RDS, and Timestream, not just vector stores.
Explore 1 awesome GitHub repository matching data & databases · Cloud Database ETL. Refine with filters or upvote what's useful.
Awesome Cloud Database ETL GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Auf GitHub ansehenDieses Projekt ist eine AWS-Pandas-Integrationsbibliothek und ein Daten-Pipeline-Framework, das entwickelt wurde, um die Bewegung und Transformation von Daten zwischen lokalem Speicher und AWS-Speicher- und Analysediensten zu vereinfachen. Es fungiert als Cloud-Data-Lake-Toolkit und Storage-File-Manager, der es Nutzern ermöglicht, strukturierte Daten über verschiedene Cloud-Umgebungen hinweg zu lesen, zu schreiben und zu transformieren. Die Bibliothek zeichnet sich als verteilter Compute-Orchestrator aus, der Cluster in Umgebungen wie EMR verwalten kann, um Datensätze zu verarbeiten, die die Speichergrenzen einer einzelnen Maschine überschreiten. Sie bietet zudem spezialisierte Funktionen zur Verwaltung von Vektor-Indizes und zur Durchführung von Ähnlichkeitssuchen innerhalb von Cloud-Storage-Buckets. Die breiteren Funktionen umfassen Cloud-Datenbank-ETL für Dienste wie DynamoDB, RDS und Timestream sowie Cloud-Data-Catalog-Management via AWS Glue. Sie unterstützt serverlose Datenanalyse durch Athena und Redshift und bietet Utilities zur Verwaltung von S3-Objekten, zur Indexierung von Dokumenten in OpenSearch und zur Analyse von CloudWatch-Logs.
Enables efficient movement of structured data between pandas and AWS databases including DynamoDB, RDS, and Timestream.
Python
