Awesome GitHub RepositoriesKernel Process Configuration

Polynote ist eine polyglotte Notebook-Umgebung und ein interaktives Dokumentensystem, das für die Ausführung von Code in mehreren Sprachen innerhalb eines einzigen Dokuments entwickelt wurde. Es fungiert als sprachübergreifendes Datenanalysetool und JVM-Sprach-IDE, das es Nutzern ermöglicht, ausführbaren Code, Rich Text und Datenvisualisierungen zu kombinieren, um technische Workflows zu prototypisieren und zu dokumentieren. Das System zeichnet sich durch die Fähigkeit aus, Daten und Variablen zwischen verschiedenen Sprach-Runtimes, wie Python und der JVM, zu teilen. Es verwendet sprachübergreifende Objektkonvertierung und Data-Wrapping, um Objekte zwischen Runtimes zu übergeben und so mehrsprachige Daten-Workflows zu ermöglichen. Zudem lässt es sich in Apache Spark integrieren, um verteilte Datenverarbeitungsaufgaben über lokale oder Remote-Cluster-Submissions auszuführen. Die Plattform bietet eine umfassende Suite an Funktionen für Datenanalyse und -visualisierung, einschließlich einer Echtzeit-Symboltabelle für das Runtime-Monitoring und Unterstützung für das Rendern von Vega-Spezifikationen. Sie verwaltet Abhängigkeiten für JVM- und Python-Runtimes mittels koordinatenbasierter Auflösung und bietet IDE-erweitertes Editieren mit Autocomplete und Fehlerhervorhebung. Zu den Dokumentenverwaltungsfunktionen gehören ein dynamisches Inhaltsverzeichnis, eine notebookübergreifende Inhaltssuche und eine browserbasierte Backup-Wiederherstellung, um Datenverlust durch beschädigte Dateien zu verhindern.

aws-sdk-pandas ist eine Python-Bibliothek, die Pandas-Dataframes mit AWS-Diensten integriert und als Cloud-Daten-ETL-Tool und Data-Lake-Connector fungiert. Sie bietet eine einheitliche Schnittstelle, um Daten zwischen In-Memory-Dataframes und Cloud-Speicher, Datenbanken und Data-Warehouses zu bewegen und zu transformieren. Das Projekt zeichnet sich als verteilter Compute-Orchestrator aus, der Pandas-basierte Workloads an EMR-Cluster und serverlose Verarbeitungsumgebungen übermitteln kann. Es spezialisiert sich zudem auf die Koordination verteilter Datenverarbeitung via Ray-Cluster-Initialisierung, um Datensätze zu verarbeiten, die den Speicher einer einzelnen Maschine überschreiten. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Object-Storage-Management für S3, SQL-Abfrageausführung für Athena und Redshift sowie Integration mit NoSQL-, Graph- und Zeitreihendatenbanken. Sie enthält zudem Utilities für Metadaten-Management durch den Glue-Katalog, OpenSearch-Datenindexierung und die Verwaltung von Business-Intelligence-Assets in QuickSight. Zusätzliche Funktionen umfassen das Abrufen von Secrets, die Analyse von CloudWatch-Logs und die Verwaltung von Datenqualitätsregeln.