1 Repo
Awesome GitHub RepositoriesAnalytical Query Workflows
Orchestrating the flow of data from cloud query services into analytical dataframes.
Distinct from Big Data Workflow Management: Distinct from Big Data Workflow Management: focuses on the specific analytical pattern of querying and loading into dataframes, not Hadoop cluster management.
Explore 1 awesome GitHub repository matching data & databases · Analytical Query Workflows. Refine with filters or upvote what's useful.
Awesome Analytical Query Workflows GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- aws/aws-sdk-pandas
aws/aws-sdk-pandas
4,107Auf GitHub ansehenaws-sdk-pandas ist eine Python-Bibliothek, die Pandas-Dataframes mit AWS-Diensten integriert und als Cloud-Daten-ETL-Tool und Data-Lake-Connector fungiert. Sie bietet eine einheitliche Schnittstelle, um Daten zwischen In-Memory-Dataframes und Cloud-Speicher, Datenbanken und Data-Warehouses zu bewegen und zu transformieren. Das Projekt zeichnet sich als verteilter Compute-Orchestrator aus, der Pandas-basierte Workloads an EMR-Cluster und serverlose Verarbeitungsumgebungen übermitteln kann. Es spezialisiert sich zudem auf die Koordination verteilter Datenverarbeitung via Ray-Cluster-Initialisierung, um Datensätze zu verarbeiten, die den Speicher einer einzelnen Maschine überschreiten. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Object-Storage-Management für S3, SQL-Abfrageausführung für Athena und Redshift sowie Integration mit NoSQL-, Graph- und Zeitreihendatenbanken. Sie enthält zudem Utilities für Metadaten-Management durch den Glue-Katalog, OpenSearch-Datenindexierung und die Verwaltung von Business-Intelligence-Assets in QuickSight. Zusätzliche Funktionen umfassen das Abrufen von Secrets, die Analyse von CloudWatch-Logs und die Verwaltung von Datenqualitätsregeln.
Facilitates workflows for querying Athena, Redshift, or OpenSearch and loading results into dataframes for analysis.
Pythonamazon-athenaamazon-sagemaker-notebookapache-arrow
