3 个仓库
The process of writing and managing low-level logic for GPU device execution.
Distinguishing note: Candidates focus on Android kernels or multi-device launches; this is general GPU-side kernel logic development.
Explore 3 awesome GitHub repositories matching operating systems & systems programming · GPU Kernel Development. Refine with filters or upvote what's useful.
rust-cuda 是一个 GPU 编程框架和设备编译器,允许使用 Rust 在 NVIDIA 硬件上开发和执行高性能内核。它提供了一个驱动程序包装器来管理设备内存分配和内核启动,有效地作为一个无需依赖 C++ 即可编写 GPU 计算逻辑的系统。 该项目包含一个计算库,其中包含用于神经网络加速和硬件加速光线追踪的硬件优化原语。它利用一个编译工具链,将源代码转换为用于在图形处理器上执行的低级中间表示。 该框架涵盖了设备资源管理、内核开发以及高精度整数运算的模拟。它还支持设备端随机数生成和特定目标的计算优化。 提供预配置的容器镜像,以简化跨不同硬件架构的编译器工具链和开发环境的配置。
Provides a framework for managing thread indices and memory allocation to create device-side logic.
AITemplate 是一个提前(ahead-of-time)深度学习编译器,将 PyTorch 神经网络转换为独立的 C++ 源代码。它作为一个 PyTorch 转 C++ 编译器和 GPU 内核融合引擎,生成自包含的可执行二进制文件,无需 Python 解释器或深度学习框架运行时即可运行推理。 该项目专门为 NVIDIA TensorCores 和 AMD MatrixCores 生成优化的 CUDA 和 HIP C++ 代码。它专注于通过将多个神经网络算子组合成单个 GPU 内核的系统,最大限度地提高半精度浮点运算的吞吐量,从而最小化内存开销和延迟。 该工具集涵盖了 GPU 推理加速和高性能计算,提供了自定义 GPU 算子开发以及将图节点映射到硬件特定模板的能力。它包括用于基准测试推理性能和可视化模型优化的实用支持。
Provides the ability to define new neural network primitives and map them to hardware-specific code generation templates.
HIP 是一种 C++ GPU 内核语言和跨平台运行时,专为编写可移植的高性能计算应用而设计。它提供了一个编程接口,允许单个源代码库在 AMD 和 NVIDIA GPU 架构上执行。 该项目作为兼容层,实现了现有 CUDA 源代码的转换和迁移,以在 AMD 硬件上运行。这是通过镜像 CUDA 的语法映射和编译过程中的源到源翻译来实现的。 该工具包涵盖了更广泛的跨平台 GPGPU 开发领域,包括异构计算优化和可移植内核的创建。它利用运行时抽象将统一 API 调用映射到特定于供应商的驱动程序库,以进行内存和内核管理。
Enables the development of single-source C++ kernels that execute on multiple GPU architectures.