5 dépôts
Saving and loading multidimensional numerical arrays across various scientific file formats.
Distinct from Multi-Format Data Persistence: Focuses specifically on scientific numerical formats like NPY and CSV, rather than general database persistence.
Explore 5 awesome GitHub repositories matching data & databases · Numerical Array Persistence. Refine with filters or upvote what's useful.
This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p
Enables saving and loading multidimensional numerical arrays to disk in raw binary formats with compression support.
libigl est une bibliothèque de traitement géométrique en C++ utilisée pour analyser et manipuler des maillages 3D triangulaires et tétraédriques. Elle fonctionne comme une suite d'algèbre linéaire numérique et un framework de manipulation de maillage, intégrant un moteur de déformation géométrique pour implémenter des transformations rigides et polyharmoniques. Le projet se distingue par sa conception de bibliothèque header-only et son implémentation de techniques de déformation spécialisées, incluant la déformation de forme rigide et polyharmonique. Il fournit également un outil de visualisation pour le rendu de surfaces et de champs scalaires avec des contrôles de scène interactifs et la sélection de maillage. La bibliothèque couvre une large gamme de capacités incluant l'analyse géométrique pour la courbure et les distances géodésiques, la génération de maillage via l'extraction d'iso-surfaces et la triangulation, et le remaillage par déformation anisotrope. Elle prend également en charge les opérations booléennes sur les maillages, la paramétrisation de surface et l'optimisation numérique pour résoudre des équations de Laplace et des programmes quadratiques. La boîte à outils inclut des utilitaires pour importer et exporter divers formats de géométrie 3D et prend en charge l'interopérabilité avec Matlab pour exécuter des scripts et partager des matrices.
Persists large numerical arrays to disk using binary or ASCII formats for high precision.
ArrayFire est un framework de calcul agnostique au matériel et un moteur de tenseurs compilé JIT conçu pour le calcul numérique haute performance. Il sert de bibliothèque de calcul numérique GPU et de toolkit de traitement du signal parallèle qui abstrait les backends matériels, permettant à la même base de code de s'exécuter sur diverses architectures GPU et CPU. Le projet se distingue par un moteur JIT qui utilise la compilation d'expressions pour fusionner les opérations et minimiser la surcharge mémoire. Il emploie un graphe d'exécution différée pour optimiser les chaînes de calcul et fournit des primitives d'interopérabilité pour partager des données et des contextes d'exécution avec des plateformes de calcul externes comme CUDA et OpenCL. La bibliothèque couvre un large éventail de capacités, incluant l'algèbre linéaire parallèle, le traitement du signal numérique et la vision par ordinateur accélérée. Elle fournit des outils pour l'implémentation de l'apprentissage automatique, la simulation de modélisation financière et la résolution d'équations aux dérivées partielles pour les simulations de systèmes physiques. Son système de gestion de tenseurs gère l'allocation de tableaux multidimensionnels, le découpage et les transferts de données hôte-périphérique.
Saves and loads multidimensional numerical tensors to and from files using keys or indices.
Joblib est une suite d'utilitaires pour paralléliser les charges de travail computationnelles et optimiser le stockage de grands jeux de données numériques et de résultats de fonctions. Elle fonctionne comme une bibliothèque de calcul parallèle et un wrapper de multiprocessing qui distribue l'exécution des fonctions sur plusieurs cœurs CPU pour accélérer les tâches indépendantes et les boucles computationnelles. Le projet fournit un framework de mise en cache sur disque qui persiste les sorties de fonctions coûteuses sur le système de fichiers, en les réévaluant uniquement lorsque les arguments d'entrée changent. Il se spécialise en outre dans la sérialisation de grands tableaux numériques, utilisant une compression efficace et un mappage mémoire pour optimiser le stockage et la récupération de jeux de données massifs. La boîte à outils inclut des capacités pour le mappage de fonctions parallèles et l'utilisation de backends d'exécution enfichables pour contrôler la façon dont les tâches sont distribuées sur le matériel disponible. Sa couche de stockage couvre la persistance d'objets complexes et la compression transparente pour les données sérialisées.
Provides memory-mapping for large numerical arrays to allow efficient disk-based random access without consuming full RAM.
xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp
Deno-xtensor reads and writes multidimensional arrays using CSV, NPY, and JSON formats for persistence.