Awesome GitHub RepositoriesGPU Kernel Development

rust-cuda es un framework de programación GPU y compilador de dispositivos que permite el desarrollo y ejecución de kernels de alto rendimiento en hardware NVIDIA utilizando Rust. Proporciona un wrapper de driver para gestionar la asignación de memoria del dispositivo y el lanzamiento de kernels, sirviendo efectivamente como un sistema para escribir lógica de cómputo GPU sin depender de C++. El proyecto incluye una librería de cómputo con primitivas optimizadas por hardware para aceleración de redes neuronales y raytracing acelerado por hardware. Utiliza una cadena de herramientas de compilación que traduce el código fuente a una representación intermedia de bajo nivel para su ejecución en procesadores gráficos. El framework cubre la gestión de recursos del dispositivo, desarrollo de kernels y la simulación de operaciones de enteros de alta precisión. También soporta la generación de números aleatorios en el lado del dispositivo y optimizaciones de cómputo específicas para el objetivo. Imágenes de contenedor preconfiguradas están disponibles para simplificar el aprovisionamiento de la cadena de herramientas del compilador y el entorno de desarrollo a través de diferentes arquitecturas de hardware.

AITemplate es un compilador de aprendizaje profundo ahead-of-time que traduce redes neuronales de PyTorch a código fuente C++ independiente. Funciona como un compilador de PyTorch a C++ y un motor de fusión de kernels de GPU, produciendo binarios ejecutables autocontenidos que ejecutan inferencia sin requerir un intérprete de Python o un runtime de framework de aprendizaje profundo. El proyecto genera código CUDA y HIP C++ optimizado específicamente para NVIDIA TensorCores y AMD MatrixCores. Se centra en maximizar el rendimiento para operaciones de punto flotante de media precisión a través de un sistema que combina múltiples operadores de redes neuronales en kernels de GPU únicos para minimizar la sobrecarga de memoria y la latencia. El conjunto de herramientas cubre la aceleración de inferencia en GPU y computación de alto rendimiento, proporcionando capacidades para el desarrollo de operadores de GPU personalizados y el mapeo de nodos de grafos a plantillas específicas de hardware. Incluye soporte de utilidades para realizar benchmarking del rendimiento de inferencia y visualizar optimizaciones de modelos.

HIP is a C++ GPU kernel language and cross-platform runtime designed for writing portable high-performance compute applications. It provides a programming interface that allows a single source codebase to execute on both AMD and NVIDIA GPU architectures. The project functions as a compatibility layer that enables the conversion and migration of existing CUDA source code to run on AMD hardware. This is achieved through a syntax mapping that mirrors CUDA and a source-to-source translation process during compilation. The toolkit covers the broader surface of cross-platform GPGPU development, in