Awesome GitHub RepositoriesMulti-Modal Spatial Representations

SpatialLM هو إطار عمل للنمذجة المكانية يستخدم نماذج لغوية كبيرة لتحويل بيانات الفيديو أحادي العين وبيانات المستشعرات إلى خرائط داخلية دلالية مهيكلة. يعمل النظام كأداة لتقدير التصميم الداخلي ومحلل دلالي لسحب النقاط، حيث يحول البيانات الهندسية الخام إلى تمثيلات للعناصر المعمارية وفئات الكائنات. يُنسق المشروع بين مدخلات المستشعرات متعددة الوسائط والرموز اللغوية، مما يسمح للنموذج اللغوي بالعمل كمحرك استنتاجي لاستنباط طوبولوجيا الغرف. يستخدم آليات لتحويل سحب النقاط ثلاثية الأبعاد وتسلسلات الصور ثنائية الأبعاد إلى رموز منفصلة وترميزات مكانية مهيكلة، والتي يتم فك تشفيرها لاحقاً إلى تخطيطات معمارية. يغطي إطار العمل تحليل المشاهد ثلاثية الأبعاد واكتشاف الكائنات لتحديد الأثاث عبر مربعات الإحاطة والتصنيفات الدلالية. كما يوفر أدوات لفهم البيئة للروبوتات، حيث يعالج بيانات المستشعرات لإنشاء خرائط دلالية للملاحة الذاتية.

This project is a technical reference guide and sensor-based robotics manual focused on the theoretical foundations and practical implementation of Simultaneous Localization and Mapping. It serves as a knowledge base for spatial AI, covering the integration of deep learning and semantic rendering to create intelligent systems for open world environments. The resource provides guidance on integrating multi-modal sensor data from cameras, LiDAR, radar, and inertial sensors for localization and mapping. It also establishes a bibliographic standard for robotics research by providing systems for m