fundamentalvision/BEVFormer
BEVFormer
BEVFormer هو إطار عمل للإدراك يحول صور الكاميرات المتعددة إلى تمثيلات منظور عين الطائر (Bird's-eye-view) للقيادة الذاتية. يعمل كخط أنابيب رؤية متعدد الكاميرات يدمج تدفقات كاميرات متعددة في منظور مكاني موحد لتسهيل فهم البيئة.
ينفذ النظام بنية قائمة على المحولات (Transformer) تستخدم استخراج الميزات القائم على الاستعلام والشبكات الزمانية المكانية لتجميع ميزات الصورة المكانية والبيانات التاريخية الزمنية. يستخدم التراكم الزمني المتكرر للحفاظ على ذاكرة مستمرة للمشهد عبر الإطارات المتتالية.
يوفر إطار العمل قدرات لاكتشاف الكائنات ثلاثية الأبعاد وتقسيم الخريطة الدلالية. يجمع بين دمج الصور متعددة العروض ورأس اكتشاف تلافيفي لتحديد الكائنات ثلاثية الأبعاد وتقسيم البيانات البيئية إلى مناطق دلالية ذات معنى.
Features
- Autonomous Driving - Uses camera-only systems to recognize and understand the surrounding environment for self-driving vehicle navigation.
- BEV Transformer Frameworks - Provides a deep learning architecture that transforms multi-camera images into bird's-eye-view representations for perception.
- 3D - Locates and identifies three-dimensional objects in a scene by converting camera images into a bird's-eye-view perspective.
- Query-Based Feature Extractions - Employs learnable query embeddings to sample relevant image features based on spatial grid locations.
- Multi-Camera Vision Pipelines - Integrates multiple camera streams into a single unified spatial perspective to facilitate environmental understanding.
- Multi-View Image Fusions - Combines visual data from multiple synchronized camera angles into a single unified environmental map.
- Recurrent Temporal Accumulations - Maintains a persistent memory of the scene by iteratively updating BEV features across consecutive frames.
- Sensor Fusion - Combines image feeds from multiple vehicle cameras into a single unified spatial representation.
- Spatiotemporal Transformers - Uses attention mechanisms to aggregate spatial image features and temporal historical data into a unified representation.
- Bird's-Eye-View Generations - Transforms multi-camera images into a top-down perspective using spatiotemporal transformers to improve spatial perception.
- Bird's-Eye-View Feature Mappings - Implements the core transformation of multi-camera images into a top-down bird's-eye-view feature representation.
- Detection Heads - Provides a convolutional detection head to predict 3D object bounding boxes from BEV features.
- Semantic Map Generation Tools - Partitions environmental image data into meaningful regions to create top-down semantic maps.
- Semantic Map Segmentations - Divides the driving environment into meaningful regions to identify roads, sidewalks, and other infrastructure.
