Awesome GitHub RepositoriesCUDA Runtime Detections

Jetson Containers 是一个容器管理系统，用于在 ARM64 边缘硬件上构建和运行用于机器学习工作负载的 GPU 加速 Docker 镜像。它作为一个 CUDA 容器编排器，在运行时自动检测主机的 CUDA 工具包版本和 GPU 功能以确保容器兼容性，同时在启动时通过匹配主机的 JetPack 或 L4T 版本来选择正确的容器镜像。 该项目提供预配置的容器，用于执行针对边缘设备优化的量化大语言模型和检索增强生成管道，以及用于部署自主代理和多模态处理的集成 ROS 和 AI 框架容器。其模块化分层构建系统从可重用的预构建层组装 Docker 镜像，从源码编译 AI/ML 框架以针对特定的边缘 GPU 架构和 CUDA 版本进行优化，并使用本地 wheel 缓存来加速后续构建。 该平台提供带有 GPU 加速版 PyTorch、TensorFlow、JAX 和 ONNX Runtime 的预构建 Docker 容器，支持在边缘硬件上运行 LLM、语音模型、视觉语言模型和神经机器翻译等功能。它还支持构建带有 GPU 加速 AI 包的自定义容器，运行 Triton Inference Server 和 Transformer Engine 容器，并使用 RAPIDS 库加速数据科学工作流。