Awesome GitHub RepositoriesJSON Serialization

orjson is a high-performance Python library for serializing and deserializing JSON data. It functions as both a JSON parsing library and a serialization engine, converting data between native Python objects and UTF-8 encoded bytes. The project provides specialized support for converting complex Python data structures, including dataclasses, datetime objects, and NumPy arrays and scalars, into JSON format. It also allows for the insertion of pre-serialized JSON blobs into documents to maintain processing speed. The library includes capabilities for memory-efficient deserialization through key

BertViz ist ein Diagnose-Toolset zur Visualisierung von Attention-Heads und internem Modellverhalten, um zu interpretieren, wie Sprachmodelle Text verarbeiten. Es dient als Interpretierbarkeits-Tool und Debugger für Natural-Language-Processing-Modelle und bietet speziell interaktive Karten von Attention-Mechanismen innerhalb von Transformer-Architekturen. Das Projekt ermöglicht die Analyse von Token-Beziehungen durch detaillierte Ansichten spezifischer Attention-Heads und Layer. Es unterstützt die globale Attention-Visualisierung über alle Layer hinweg, Encoder-Decoder-Attention-Mapping und die Inspektion einzelner Neuronen innerhalb von Query- und Key-Vektoren, um deren Beitrag zu Attention-Berechnungen aufzudecken. Das Tool bietet Funktionen zum Filtern von Ansichten nach Layer, Head oder Satzpaaren. Visualisierungen werden direkt innerhalb von Notebook-Umgebungen via HTML- und JavaScript-Injektion gerendert und können als eigenständige HTML-Dateien für externes Teilen exportiert werden.

GluonTS ist eine probabilistische Zeitreihenbibliothek und ein Deep-Learning-Prognose-Framework. Es bietet ein Toolkit zum Aufbau, Training und zur Evaluierung neuronaler Netzwerkarchitekturen, die zukünftige Werte als Wahrscheinlichkeitsverteilungen vorhersagen, um Unsicherheit zu quantifizieren. Das Projekt zeichnet sich durch die Unterstützung von Zero-Shot-Forecasting und die Integration diverser Modellierungsansätze aus, einschließlich tiefer probabilistischer neuronaler Netze und Wrapper für externe statistische Bibliotheken wie Prophet und R forecast. Es implementiert spezialisierte architektonische Primitiven wie kausale Konvolutionen und invertierbare Residual-Netzwerke, um Informationslecks zu verhindern und latente Repräsentationen in gültige Wahrscheinlichkeitsverteilungen abzubilden. Das Framework deckt eine umfassende Data-Engineering-Oberfläche ab, einschließlich Zeitreihenskalierung, bijektiver Transformationen und hierarchischer Modellierung. Es nutzt Apache Arrow und Parquet für hochperformantes Datensatz-Streaming und Random-Access-Management. Zur Modellbewertung enthält es eine Evaluierungssuite zur Messung von Prognosegenauigkeit und probabilistischer Abdeckung unter Verwendung von Metriken wie Quantile Loss und Continuous Rank Probability Scores. Die Bibliothek unterstützt die Modellbereitstellung durch Integration mit Amazon SageMaker.

xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp