Awesome GitHub RepositoriesCUDA Runtime Detections

Jetson Containers este un sistem de gestionare a containerelor care construiește și rulează imagini Docker accelerate prin GPU pentru sarcini de învățare automată pe hardware edge ARM64. Acesta funcționează ca un orchestrator de containere CUDA, detectând automat versiunea toolkit-ului CUDA al gazdei și capabilitățile GPU pentru a asigura compatibilitatea containerului la runtime, selectând în același timp imaginea de container corectă prin potrivirea versiunii JetPack sau L4T a gazdei la momentul lansării. Proiectul livrează containere preconfigurate pentru executarea modelelor de limbaj mari cuantificate și a pipeline-urilor de generare augmentată prin recuperare (RAG) optimizate pentru dispozitive edge, alături de containere ROS și AI framework integrate pentru implementarea agenților autonomi și a procesării multimodale. Sistemul său modular de construcție pe straturi asamblează imagini Docker din straturi reutilizabile, pre-construite, compilând framework-urile AI/ML din sursă pentru a le optimiza pentru arhitecturi GPU edge specifice și versiuni CUDA, cu caching local de wheel-uri pentru a accelera construcțiile ulterioare. Platforma oferă containere Docker pre-construite cu versiuni accelerate prin GPU de PyTorch, TensorFlow, JAX și ONNX Runtime pentru platformele Jetson, suportând capabilități precum rularea LLM-urilor, modelelor de vorbire, modelelor viziune-limbaj și traducerea neuronală automată pe hardware edge. De asemenea, permite construirea de containere personalizate cu pachete AI accelerate prin GPU, rularea containerelor Triton Inference Server și Transformer Engine și accelerarea fluxurilor de lucru de știință a datelor cu bibliotecile RAPIDS.