Awesome GitHub RepositoriesScientific Array Serialization

Joblib ist eine Suite von Dienstprogrammen zur Parallelisierung von Rechenlasten und zur Optimierung der Speicherung großer numerischer Datensätze und Funktionsergebnisse. Es fungiert als Bibliothek für paralleles Rechnen und Multiprocessing-Wrapper, der die Funktionsausführung auf mehrere CPU-Kerne verteilt, um unabhängige Aufgaben und Rechenschleifen zu beschleunigen. Das Projekt bietet ein Disk-Caching-Framework, das die Ergebnisse teurer Funktionen auf dem Dateisystem persistiert und sie nur dann neu bewertet, wenn sich die Eingabeargumente ändern. Es ist zudem auf die Serialisierung großer numerischer Arrays spezialisiert und nutzt effiziente Komprimierung und Memory-Mapping, um die Speicherung und den Abruf massiver Datensätze zu optimieren. Das Toolkit enthält Funktionen für paralleles Funktions-Mapping und die Verwendung von steckbaren Ausführungs-Backends, um zu steuern, wie Aufgaben auf die verfügbare Hardware verteilt werden. Seine Speicherschicht deckt die Persistenz komplexer Objekte und transparente Komprimierung für serialisierte Daten ab.

ndarray ist eine Bibliothek für mehrdimensionale Arrays für Rust, die als Framework für lineare Algebra und wissenschaftliches Rechnen dient. Sie bietet die Kerninfrastruktur für die Erstellung und Manipulation von n-dimensionalen Arrays und fungiert sowohl als paralleler Array-Prozessor als auch als Toolkit für numerische Datenanalysen. Die Bibliothek zeichnet sich durch effizientes Slicing und Memory-Views aus, was den Datenaustausch ohne Kopieren ermöglicht. Sie nutzt optimierte Backend-Mathe-Bibliotheken für schnelle Matrixmultiplikationen und verteilt rechenintensive mathematische Iterationen auf mehrere CPU-Threads, um die Verarbeitung zu beschleunigen. Das Projekt deckt ein breites Spektrum mathematischer Operationen ab, darunter elementweise Arithmetik, achsenbasierte Datenaggregation und Skalarproduktberechnungen. Zudem sind umfassende Hilfsprogramme für die Array-Manipulation enthalten, wie Reshaping, Flattening, Stacking und die Generierung von Koordinatengittern, sowie Unterstützung für die randomisierte Array-Generierung und Serialisierung.

xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp