Awesome GitHub RepositoriesJSON Serialization

orjson is a high-performance Python library for serializing and deserializing JSON data. It functions as both a JSON parsing library and a serialization engine, converting data between native Python objects and UTF-8 encoded bytes. The project provides specialized support for converting complex Python data structures, including dataclasses, datetime objects, and NumPy arrays and scalars, into JSON format. It also allows for the insertion of pre-serialized JSON blobs into documents to maintain processing speed. The library includes capabilities for memory-efficient deserialization through key

BertViz est un ensemble d'outils de diagnostic pour visualiser les têtes d'attention et les comportements internes des modèles afin d'interpréter comment les modèles de langage traitent le texte. Il sert d'outil d'interprétabilité et de débogueur pour les modèles de traitement du langage naturel, fournissant spécifiquement des cartes interactives des mécanismes d'attention au sein des architectures Transformer. Le projet permet l'analyse des relations entre jetons à travers des vues détaillées de têtes d'attention et de couches spécifiques. Il prend en charge la visualisation de l'attention globale à travers toutes les couches, le mappage de l'attention encodeur-décodeur et l'inspection de neurones individuels au sein des vecteurs de requête et de clé pour révéler leur contribution aux calculs d'attention. L'outil fournit des capacités pour filtrer les vues par couche, tête ou paires de phrases. Les visualisations sont rendues directement dans les environnements de notebook via l'injection HTML et JavaScript, et elles peuvent être exportées sous forme de fichiers HTML autonomes pour un partage externe.

GluonTS est une bibliothèque de séries temporelles probabilistes et un framework de prévision par deep learning. Il fournit une boîte à outils pour construire, entraîner et évaluer des architectures de réseau neuronal qui prédisent les valeurs futures sous forme de distributions de probabilité pour quantifier l'incertitude. Le projet se distingue en prenant en charge la prévision zero-shot et en intégrant diverses approches de modélisation, y compris les réseaux neuronaux probabilistes profonds et des wrappers pour des bibliothèques statistiques externes telles que Prophet et R forecast. Il implémente des primitives architecturales spécialisées comme les convolutions causales et les réseaux résiduels inversibles pour empêcher la fuite d'informations et mapper les représentations latentes en distributions de probabilité valides. Le framework couvre une surface d'ingénierie de données complète, y compris la mise à l'échelle des séries temporelles, les transformations bijectives et la modélisation hiérarchique. Il utilise Apache Arrow et Parquet pour la diffusion d'ensembles de données haute performance et la gestion de l'accès aléatoire. Pour l'évaluation des modèles, il inclut une suite d'évaluation pour mesurer la précision des prévisions et la couverture probabiliste en utilisant des métriques comme la perte quantile et les scores de probabilité de rang continu. La bibliothèque prend en charge le déploiement de modèles via l'intégration avec Amazon SageMaker.

xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp