OpenDriveLab/UniAD
UniAD
UniAD هو إطار عمل موحد للتعلم العميق مخصص للقيادة الذاتية، يدمج الإدراك والتنبؤ والتخطيط في نموذج واحد متكامل (end-to-end). يعمل كبنية شبكة عصبية تقوم بتحويل بيانات المستشعرات الخام مباشرة إلى مسارات قيادة وخطط حركة.
يعد هذا المشروع تطبيقاً بحثياً لنهج موجه نحو التخطيط، حيث يتم تدريب وحدات إشغال المساحة، ورسم الخرائط، وتتبع الكائنات بشكل مشترك. كما يستخدم إطار عمل إدراك متعدد المهام لتحسين أداء القيادة العام.
يغطي النظام نطاقاً واسعاً من القدرات، بما في ذلك مسارات القيادة المتكاملة، وتحسين حركة المركبات، وتجميع الميزات البصرية. وينسق مهام القيادة الذاتية المختلفة لتحسين عملية القيادة بأكملها في دورة تدريب واحدة.
Features
- End-to-End Driving Pipelines - Tune track, map, motion, and occupancy modules together to refine the entire driving process in one training cycle.
- Autonomous Driving Stacks - Provides a comprehensive software stack integrating perception, prediction, and planning for autonomous vehicle operation.
- End-to-End Architectures - Implements a neural network that maps raw sensor data directly to driving actions without intermediate pipelines.
- Multi-Task Vision Training - Jointly trains occupancy, mapping, and object tracking modules within a single unified vision model.
- Perception Module Training - Creates stable weights for tracking and mapping by aggregating visual features across multiple video frames.
- Temporal Feature Aggregation - Combines visual information across multiple video frames to create stable representations for tracking and mapping.
- Planning-Oriented Learning - Directs training of perception modules using the final driving trajectory as the primary signal for gradient updates.
- Motion Planning - Implements trajectory optimization and path planning by refining track, map, and occupancy modules.
- Occupancy-Based Motion Prediction - Uses volumetric grid representations to predict the movement of surrounding agents and identify navigable space.
- Multi-Task Joint Training - Trains perception and planning modules simultaneously to optimize visual features for downstream decision making.
