Awesome GitHub RepositoriesMath Library Accelerators

Warp is a Python framework that JIT-compiles Python functions into CUDA kernels for GPU-accelerated parallel computation, with built-in automatic differentiation and multi-framework array interoperability. At its core, it provides a GPU kernel compilation system that enables writing and executing custom GPU kernels directly from Python, while supporting automatic gradient computation through those kernels for integration with machine learning pipelines. The framework also includes tile-based cooperative computing, where thread blocks partition into tiles for shared-memory and tensor-core opera

TileLang is a Python-embedded domain-specific language compiler that JIT-compiles and autotunes GPU kernels. It uses a tile-based DSL, automatic software pipelining, and parallel autotuning to generate optimized GPU kernels at runtime. It supports tensor core operations with Pythonic syntax, automatic memory management, and thread mapping. The compiler searches over tile sizes, thread counts, and scheduling policies, compiling and benchmarking candidates in parallel to find the fastest kernel. It also caches compiled binaries and tuning results to disk for reuse across sessions. TileLang inc

ndarray 是一个 Rust 的多维数组库，用作线性代数框架和科学计算工具。它提供了创建和操作 n 维数组的核心基础设施，既充当并行数组处理器，也充当数值数据分析工具包。 该库的独特之处在于提供高效的切片和内存视图，允许在不复制的情况下共享数据。它利用优化的后端数学库进行高速矩阵乘法，并将繁重的数学迭代分布到多个 CPU 线程上以加速处理。 该项目涵盖了广泛的数学运算，包括逐元素算术、基于轴的数据聚合和点积计算。它还包括用于数组操作的全面实用程序，如重塑、展平、堆叠和坐标网格生成，以及对随机数组生成和序列化的支持。

oneDNN 是一个深度学习加速库，为神经网络训练和推理提供优化的构建块。它管理跨 CPU 和 GPU 硬件的张量计算，支持执行用于模型训练和神经网络推理优化的高性能原语。 该项目通过硬件特定的内核优化和使用即时编译来针对特定处理器指令集脱颖而出。它支持使用静态和动态量化来执行量化神经网络，以减少内存使用并提高吞吐量。 该库涵盖了广泛的功能，包括卷积、矩阵乘法和循环神经网络执行等深度学习原语。它实现了先进的性能优化，包括操作融合、计算图优化和内存格式管理。通过稳定的 C ABI 和 C++ 包装器提供集成，并支持 SYCL、OpenCL 和外部线性代数库。 该系统包括用于硬件性能分析、原语基准测试和详细执行日志记录的观测工具。