1 Repo
Awesome GitHub RepositoriesServerless Layer Deployment
Deploying dependencies as layers in serverless environments to enable data processing.
Distinct from Serverless Deployment: Distinct from Serverless Deployment: specifically focuses on dependency layer management for data processing rather than general code deployment.
Explore 1 awesome GitHub repository matching devops & infrastructure · Serverless Layer Deployment. Refine with filters or upvote what's useful.
Awesome Serverless Layer Deployment GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- aws/aws-sdk-pandas
aws/aws-sdk-pandas
4,107Auf GitHub ansehenaws-sdk-pandas ist eine Python-Bibliothek, die Pandas-Dataframes mit AWS-Diensten integriert und als Cloud-Daten-ETL-Tool und Data-Lake-Connector fungiert. Sie bietet eine einheitliche Schnittstelle, um Daten zwischen In-Memory-Dataframes und Cloud-Speicher, Datenbanken und Data-Warehouses zu bewegen und zu transformieren. Das Projekt zeichnet sich als verteilter Compute-Orchestrator aus, der Pandas-basierte Workloads an EMR-Cluster und serverlose Verarbeitungsumgebungen übermitteln kann. Es spezialisiert sich zudem auf die Koordination verteilter Datenverarbeitung via Ray-Cluster-Initialisierung, um Datensätze zu verarbeiten, die den Speicher einer einzelnen Maschine überschreiten. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Object-Storage-Management für S3, SQL-Abfrageausführung für Athena und Redshift sowie Integration mit NoSQL-, Graph- und Zeitreihendatenbanken. Sie enthält zudem Utilities für Metadaten-Management durch den Glue-Katalog, OpenSearch-Datenindexierung und die Verwaltung von Business-Intelligence-Assets in QuickSight. Zusätzliche Funktionen umfassen das Abrufen von Secrets, die Analyse von CloudWatch-Logs und die Verwaltung von Datenqualitätsregeln.
Installs dependencies into serverless environments using layers to enable data processing in function-as-a-service models.
Pythonamazon-athenaamazon-sagemaker-notebookapache-arrow
