NVIDIA-AI-IOT/torch2trt
Torch2trt
torch2trt este un instrument pentru transformarea modulelor de model PyTorch în motoare TensorRT optimizate, pentru a îmbunătăți performanța de inferență pe GPU-urile NVIDIA. Funcționează ca un optimizator de modele de deep learning și generator de motoare care convertește straturile rețelelor neuronale în formate runtime de înaltă performanță pentru procesoare grafice accelerate hardware.
Proiectul dispune de un instrument de conversie a straturilor personalizat care permite utilizatorilor să definească și să înregistreze logică de conversie bazată pe Python pentru a gestiona operațiuni specializate care nu sunt suportate implicit. Această extensibilitate este combinată cu un sistem bazat pe registru pentru maparea tipurilor de straturi specifice către funcții de conversie definite de utilizator.
Sistemul acoperă accelerarea inferenței GPU prin cuantizarea modelelor de deep learning și antrenarea conștientă de cuantizare pentru a reduce utilizarea memoriei și a crește throughput-ul. Include, de asemenea, capabilități pentru persistența modelelor, permițând starea motoarelor optimizate să fie salvată și reîncărcată.
Features
- TensorRT Framework Integrations - Integrates TensorRT optimization into PyTorch by translating deep learning operations into optimized graphs.
- Custom Neural Network Layers - Supports the implementation of specialized conversion logic for non-standard neural network operations.
- GPU-Accelerated Inference - Accelerates GPU inference by transforming deep learning models into highly optimized hardware-specific formats.
- Deep Learning Optimization - Reduces model latency and memory usage through precision optimization and computational graph refinement.
- ONNX-to-TensorRT Conversions - Transforms model modules into optimized TensorRT engines to improve inference performance on GPUs.
- PyTorch-to-TensorRT Converters - Transforms PyTorch model modules into optimized TensorRT engines to improve GPU inference performance.
- TensorRT Engine Generators - Converts neural network layers into high-performance runtime engines for hardware-accelerated graphics processors.
- Model Quantization - Reduces the precision of model weights to decrease memory footprint and increase GPU throughput.
- Precision Quantization - Implements precision quantization to reduce memory usage and accelerate GPU inference.
- PyTorch Model Optimizations - Optimizes PyTorch models by converting them into TensorRT engines for lower latency on NVIDIA GPUs.
- Model Conversion Utilities - Provides a utility for defining and registering Python-based conversion logic for model transformation.
- Quantization-Aware Training - Implements training techniques that simulate quantization noise to optimize model precision.
- Recursive Module Operations - Provides utilities for recursively traversing the PyTorch model hierarchy to transform modules into TensorRT representations.
- Layer Conversion Registries - Features a registry-based system to map specific layer types to user-defined conversion functions.
- Scripting Extension Layers - Exposes a scripting extension layer using Python to extend the functionality of the conversion process.
