OpenDriveLab/UniAD
UniAD
UniAD est un framework de deep learning unifié pour la conduite autonome qui intègre la perception, la prédiction et la planification dans un seul modèle end-to-end. Il fonctionne comme une architecture de réseau de neurones qui mappe directement les données brutes des capteurs vers des trajectoires de conduite et des plans de mouvement.
Ce projet sert d'implémentation de recherche pour une approche orientée planification qui entraîne conjointement des modules d'occupation, de cartographie et de suivi d'objets. Il utilise un framework de perception multi-tâches pour optimiser les performances globales de conduite.
Le système couvre un large éventail de capacités, notamment les pipelines de conduite end-to-end, l'optimisation du mouvement des véhicules et l'agrégation de caractéristiques visuelles. Il coordonne diverses tâches de conduite autonome pour affiner l'ensemble du processus de conduite en un seul cycle d'entraînement.
Features
- End-to-End Driving Pipelines - Tune track, map, motion, and occupancy modules together to refine the entire driving process in one training cycle.
- Autonomous Driving Stacks - Provides a comprehensive software stack integrating perception, prediction, and planning for autonomous vehicle operation.
- End-to-End Architectures - Implements a neural network that maps raw sensor data directly to driving actions without intermediate pipelines.
- Multi-Task Vision Training - Jointly trains occupancy, mapping, and object tracking modules within a single unified vision model.
- Perception Module Training - Creates stable weights for tracking and mapping by aggregating visual features across multiple video frames.
- Temporal Feature Aggregation - Combines visual information across multiple video frames to create stable representations for tracking and mapping.
- Planning-Oriented Learning - Directs training of perception modules using the final driving trajectory as the primary signal for gradient updates.
- Motion Planning - Implements trajectory optimization and path planning by refining track, map, and occupancy modules.
- Occupancy-Based Motion Prediction - Uses volumetric grid representations to predict the movement of surrounding agents and identify navigable space.
- Multi-Task Joint Training - Trains perception and planning modules simultaneously to optimize visual features for downstream decision making.
