Awesome GitHub RepositoriesCUDA Runtime Detections

Jetson Containers ist ein Container-Managementsystem, das GPU-beschleunigte Docker-Images für Machine-Learning-Workloads auf ARM64-Edge-Hardware erstellt und ausführt. Es fungiert als CUDA-Container-Orchestrator, der automatisch die CUDA-Toolkit-Version und die GPU-Fähigkeiten des Hosts erkennt, um die Container-Kompatibilität zur Laufzeit sicherzustellen, während beim Start das korrekte Container-Image durch Abgleich mit der JetPack- oder L4T-Version des Hosts ausgewählt wird. Das Projekt liefert vorkonfigurierte Container zur Ausführung quantisierter Large Language Models und Retrieval-Augmented-Generation-Pipelines, die für Edge-Geräte optimiert sind, sowie integrierte ROS- und KI-Framework-Container für den Einsatz autonomer Agenten und multimodaler Verarbeitung. Sein modulares, geschichtetes Build-System stellt Docker-Images aus wiederverwendbaren, vorgefertigten Schichten zusammen und kompiliert KI/ML-Frameworks aus dem Quellcode, um sie für spezifische Edge-GPU-Architekturen und CUDA-Versionen zu optimieren, wobei lokales Wheel-Caching nachfolgende Builds beschleunigt. Die Plattform bietet vorgefertigte Docker-Container mit GPU-beschleunigten Versionen von PyTorch, TensorFlow, JAX und ONNX Runtime für Jetson-Plattformen und unterstützt Funktionen wie das Ausführen von LLMs, Sprachmodellen, Vision-Language-Modellen und neuronaler maschineller Übersetzung auf Edge-Hardware. Es ermöglicht zudem das Erstellen benutzerdefinierter Container mit GPU-beschleunigten KI-Paketen, das Ausführen von Triton Inference Server- und Transformer Engine-Containern sowie die Beschleunigung von Data-Science-Workflows mit RAPIDS-Bibliotheken.