manycore-research/SpatialLM
SpatialLM
SpatialLM هو إطار عمل للنمذجة المكانية يستخدم نماذج لغوية كبيرة لتحويل بيانات الفيديو أحادي العين وبيانات المستشعرات إلى خرائط داخلية دلالية مهيكلة. يعمل النظام كأداة لتقدير التصميم الداخلي ومحلل دلالي لسحب النقاط، حيث يحول البيانات الهندسية الخام إلى تمثيلات للعناصر المعمارية وفئات الكائنات.
يُنسق المشروع بين مدخلات المستشعرات متعددة الوسائط والرموز اللغوية، مما يسمح للنموذج اللغوي بالعمل كمحرك استنتاجي لاستنباط طوبولوجيا الغرف. يستخدم آليات لتحويل سحب النقاط ثلاثية الأبعاد وتسلسلات الصور ثنائية الأبعاد إلى رموز منفصلة وترميزات مكانية مهيكلة، والتي يتم فك تشفيرها لاحقاً إلى تخطيطات معمارية.
يغطي إطار العمل تحليل المشاهد ثلاثية الأبعاد واكتشاف الكائنات لتحديد الأثاث عبر مربعات الإحاطة والتصنيفات الدلالية. كما يوفر أدوات لفهم البيئة للروبوتات، حيث يعالج بيانات المستشعرات لإنشاء خرائط دلالية للملاحة الذاتية.
Features
- Spatial Intelligence Frameworks - Provides a deep learning framework for spatial intelligence to transform sensor data into indoor semantic maps.
- Reasoning Engines - Uses a large language model as a reasoning engine to infer room topology from unstructured spatial input.
- Point Cloud and 3D Processing - Provides transformers for analyzing 3D point clouds and converting raw geometric data into structured representations.
- Classified Point Clouds - Converts raw 3D point clouds into data with semantic labels for architectural and object categories.
- Textual Token Conversions - Transforms raw 3D geometric data into discrete textual tokens for processing by large language models.
- Room Layout Estimation - Implements algorithms for predicting the spatial geometry and layout of indoor rooms.
- Spatial Layout Decoders - Generates architectural elements by predicting structured sequences of spatial coordinates and labels.
- Semantic Mapping Integrations - Fuses deep learning inference with geometric maps to assign semantic labels to architectural elements.
- 3D Object Detection - Identifies and localizes specific furniture categories in 3D space using bounding boxes.
- Spatial Analysis - Processes monocular video and sensor data to create semantic maps for environmental understanding.
- Multi-Modal Spatial Representations - Integrates sensor-derived geometric data with linguistic tokens into a unified spatial representation.
- 2D and 3D Environmental Mapping - Generates 3D spatial layouts of physical environments to enable robot navigation and awareness.
- 3D Spatial Reasoning - Interprets three-dimensional visual information from video sequences to reason about indoor spatial relationships.
- Robot Localization and Mapping - Processes environmental sensor data to create semantic maps for robot localization and navigation.
- Language Grounded Mapping - Framework for converting point clouds into structured indoor models via LLMs.
