Awesome GitHub RepositoriesKernel Process Configuration

Polynote est un environnement de notebook polyglotte et un système de documents interactifs conçu pour exécuter du code dans plusieurs langages au sein d'un même document. Il fonctionne comme un outil d'analyse de données multi-langages et un IDE pour langages JVM, permettant aux utilisateurs de combiner du code exécutable, du texte riche et des visualisations de données pour prototyper et documenter des flux de travail techniques. Le système se distingue par sa capacité à partager des données et des variables entre différents runtimes de langage, tels que Python et la JVM. Il utilise la conversion d'objets multi-langages et le wrapping de données pour transmettre des objets entre les runtimes, permettant des flux de travail de données multi-langages. De plus, il s'intègre à Apache Spark pour exécuter des tâches de traitement de données distribuées via des soumissions de cluster locales ou distantes. La plateforme fournit une suite complète de capacités pour l'analyse et la visualisation de données, incluant une table des symboles en temps réel pour la surveillance du runtime et la prise en charge du rendu des spécifications Vega. Elle gère les dépendances pour les runtimes JVM et Python en utilisant une résolution basée sur les coordonnées et offre une édition améliorée par IDE avec autocomplétion et mise en évidence des erreurs. Les fonctionnalités de gestion de documents incluent une table des matières dynamique, une recherche de contenu inter-notebook et une récupération de sauvegarde basée sur le navigateur pour éviter la perte de données due à des fichiers corrompus.

aws-sdk-pandas est une bibliothèque Python qui intègre les dataframes pandas avec les services AWS, agissant comme un outil ETL de données cloud et un connecteur de lac de données. Elle fournit une interface unifiée pour déplacer et transformer les données entre des dataframes en mémoire et le stockage cloud, les bases de données et les entrepôts de données. Le projet se distingue comme un orchestrateur de calcul distribué capable de soumettre des charges de travail basées sur pandas à des clusters EMR et des environnements de traitement sans serveur. Il se spécialise davantage dans la coordination du traitement de données distribué via l'initialisation de clusters Ray pour gérer des jeux de données qui dépassent la mémoire d'une seule machine. La bibliothèque couvre un large éventail de capacités, incluant la gestion du stockage d'objets pour S3, l'exécution de requêtes SQL pour Athena et Redshift, et l'intégration avec des bases de données NoSQL, graphes et séries temporelles. Elle inclut également des utilitaires pour la gestion des métadonnées via le catalogue Glue, l'indexation de données OpenSearch et la gestion des actifs de business intelligence dans QuickSight. La fonctionnalité supplémentaire inclut la récupération de secrets, l'analyse des journaux CloudWatch et la gestion des ensembles de règles de qualité des données.