3 repository-uri
Specialized persistence methods for saving and loading multidimensional arrays in formats like NPY, CSV, and JSON.
Distinct from Data Persistence: Focuses specifically on multidimensional array formats (NPY, CSV) for scientific exchange rather than general local state or cloud sync.
Explore 3 awesome GitHub repositories matching data & databases · Scientific Array Serialization. Refine with filters or upvote what's useful.
Joblib este o suită de utilitare pentru paralelizarea sarcinilor de calcul și optimizarea stocării seturilor de date numerice mari și a rezultatelor funcțiilor. Acesta funcționează ca o bibliotecă de calcul paralel și un wrapper de multiprocesare care distribuie execuția funcțiilor pe mai multe nuclee CPU pentru a accelera sarcinile independente și buclele de calcul. Proiectul oferă un framework de caching pe disc care persistă output-urile funcțiilor costisitoare pe sistemul de fișiere, reevaluându-le doar atunci când argumentele de intrare se modifică. Se specializează în continuare în serializarea matricelor numerice mari, utilizând compresia eficientă și maparea memoriei pentru a optimiza stocarea și recuperarea seturilor de date masive. Toolkit-ul include capabilități pentru maparea funcțiilor paralele și utilizarea backend-urilor de execuție pluggable pentru a controla modul în care sarcinile sunt distribuite pe hardware-ul disponibil. Stratul său de stocare acoperă persistența obiectelor complexe și compresia transparentă pentru datele serializate.
Provides specialized serialization for massive numerical arrays using efficient compression and binary formats.
ndarray is a multidimensional array library for Rust that serves as a linear algebra framework and scientific computing tool. It provides the core infrastructure for creating and manipulating n-dimensional arrays, functioning as both a parallel array processor and a toolkit for numerical data analysis. The library distinguishes itself by providing efficient slicing and memory views, allowing for data sharing without copying. It leverages optimized backend math libraries for high-speed matrix multiplication and distributes heavy mathematical iterations across multiple CPU threads to accelerate
Supports persisting and loading multidimensional arrays using scientific data formats.
xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp
Reading and writing multidimensional arrays using NPY, CSV, and JSON formats for cross-platform data exchange.