Awesome GitHub RepositoriesLazy Array Constructors

Dask 是一个并行计算框架和分布式任务调度器，旨在将 Python 数据科学工作流从单机扩展到大型集群。它作为一个集群资源管理器，通过将任务及其依赖项表示为有向无环图来编排计算逻辑。这种架构允许系统在管理复杂执行要求的同时，自动将工作负载分配到可用硬件上。 该项目通过一个延迟评估引擎脱颖而出，该引擎将数据操作推迟到明确请求时才执行，从而实现全局图优化和高效的资源分配。它结合了内存感知数据溢出功能，以防止在处理超过可用内存的数据集时系统崩溃，并利用任务图融合将操作序列组合成单个执行步骤，从而最大限度地减少调度开销和节点间通信。 该平台为大规模数据分析提供了全面的功能面，包括对分布式机器学习、高性能计算集成和并行数据处理的支持。它提供了用于集群生命周期管理、性能分析和任务执行实时监控的广泛工具。用户可以在各种基础设施上部署这些环境，包括本地硬件、云提供商、容器化系统和高性能计算集群。

Xarray 是一个 Python 多维数组库和带标签的数据集框架。它扩展了 NumPy 数据结构，通过为数组添加标签，允许使用命名维度和坐标来组织复杂的 N 维数据。 该库提供了 NetCDF 数据接口，用于读写 NetCDF 和 Zarr 等科学数据格式。它通过在数学运算过程中维护数据与物理坐标之间的关系，实现了科学数组计算。 该项目涵盖了多维数据分析、地理空间数据处理和气候数据处理。它还支持用于管理随时间变化的观测序列的时间序列分析。

Stumpy 是一个 Python 库，专注于矩阵轮廓（matrix profile）算法的实现，用于可扩展的时间序列分析。它提供了一个框架，用于计算距离轮廓以识别时间序列数据中的重复模式和异常。 该项目通过其使用 Dask 将繁重计算扩展到 GPU 硬件和分布式集群的能力而脱颖而出。它支持多维分析以发现并发数据流中的基序（motif），并提供用于实时流分析的增量计算。 该库涵盖了广泛的时间序列挖掘技术，包括基序发现、异常检测和序列模式匹配。它还提供用于语义分割以检测状态变化，以及提取相似子序列的时间排序链的工具。