Awesome GitHub RepositoriesScientific Array Serialization

Joblib 是一套用于并行化计算工作负载和优化大型数值数据集及函数结果存储的实用工具。它作为并行计算库和多进程包装器，将函数执行分配到多个 CPU 核心上，以加速独立任务和计算循环。 该项目提供了一个磁盘缓存框架，将昂贵的函数输出持久化到文件系统，仅在输入参数发生变化时才重新评估。它进一步专注于大型数值数组的序列化，利用高效的压缩和内存映射来优化海量数据集的存储和检索。 该工具包包括并行函数映射功能，并使用可插拔的执行后端来控制任务如何在可用硬件上分配。其存储层涵盖了复杂对象持久化和序列化数据的透明压缩。

ndarray 是一个 Rust 的多维数组库，用作线性代数框架和科学计算工具。它提供了创建和操作 n 维数组的核心基础设施，既充当并行数组处理器，也充当数值数据分析工具包。 该库的独特之处在于提供高效的切片和内存视图，允许在不复制的情况下共享数据。它利用优化的后端数学库进行高速矩阵乘法，并将繁重的数学迭代分布到多个 CPU 线程上以加速处理。 该项目涵盖了广泛的数学运算，包括逐元素算术、基于轴的数据聚合和点积计算。它还包括用于数组操作的全面实用程序，如重塑、展平、堆叠和坐标网格生成，以及对随机数组生成和序列化的支持。

xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp