1 dépôt
Awesome GitHub RepositoriesDataFrame Cloud Integrations
Mechanisms for transferring and transforming data between in-memory data frames and cloud storage services.
Distinguishing note: Candidates focus on project moves or local files, not the bridge between pandas data frames and cloud services
Explore 1 awesome GitHub repository matching data & databases · DataFrame Cloud Integrations. Refine with filters or upvote what's useful.
Awesome DataFrame Cloud Integrations GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Voir sur GitHubCe projet est une bibliothèque d'intégration AWS pandas et un framework de pipeline de données conçu pour simplifier le mouvement et la transformation des données entre la mémoire locale et les services de stockage et d'analyse AWS. Il fonctionne comme une boîte à outils de lac de données cloud et un gestionnaire de fichiers de stockage, permettant aux utilisateurs de lire, écrire et transformer des données structurées à travers divers environnements cloud. La bibliothèque se distingue comme un orchestrateur de calcul distribué capable de gérer des clusters dans des environnements tels qu'EMR pour traiter des jeux de données qui dépassent les limites de mémoire d'une seule machine. Elle fournit également des capacités spécialisées pour gérer des indices vectoriels et effectuer des recherches de similarité au sein de buckets de stockage cloud. Sa surface de capacité plus large couvre l'ETL de base de données cloud pour des services comme DynamoDB, RDS et Timestream, ainsi que la gestion de catalogue de données cloud via AWS Glue. Elle prend en charge l'analyse de données sans serveur via Athena et Redshift, et fournit des utilitaires pour gérer les objets S3, indexer des documents dans OpenSearch et analyser les journaux CloudWatch.
Simplifies the movement and transformation of data between local memory data frames and AWS cloud services.
Python
