1 dépôt
Awesome GitHub RepositoriesData Lake Table Management
Operations for creating, repairing, and modifying metadata for large-scale data lake tables.
Distinct from Logical Table Repairs: Existing candidates focus on single-operation deletions; this covers the broader lifecycle management of lake tables.
Explore 1 awesome GitHub repository matching data & databases · Data Lake Table Management. Refine with filters or upvote what's useful.
Awesome Data Lake Table Management GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107Voir sur GitHubCe projet est une bibliothèque d'intégration AWS pandas et un framework de pipeline de données conçu pour simplifier le mouvement et la transformation des données entre la mémoire locale et les services de stockage et d'analyse AWS. Il fonctionne comme une boîte à outils de lac de données cloud et un gestionnaire de fichiers de stockage, permettant aux utilisateurs de lire, écrire et transformer des données structurées à travers divers environnements cloud. La bibliothèque se distingue comme un orchestrateur de calcul distribué capable de gérer des clusters dans des environnements tels qu'EMR pour traiter des jeux de données qui dépassent les limites de mémoire d'une seule machine. Elle fournit également des capacités spécialisées pour gérer des indices vectoriels et effectuer des recherches de similarité au sein de buckets de stockage cloud. Sa surface de capacité plus large couvre l'ETL de base de données cloud pour des services comme DynamoDB, RDS et Timestream, ainsi que la gestion de catalogue de données cloud via AWS Glue. Elle prend en charge l'analyse de données sans serveur via Athena et Redshift, et fournit des utilitaires pour gérer les objets S3, indexer des documents dans OpenSearch et analyser les journaux CloudWatch.
Creates and repairs metadata tables while managing insertions and deletions for large-scale data lake tables.
Python
