2 repositorios
Fusion of deep learning inference with geometric maps to assign semantic labels to 3D environments.
Distinct from Geometric Deep Learning Frameworks: Specifically addresses the fusion of semantic labels with geometric mapping, whereas the parent covers general non-Euclidean DL frameworks.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Semantic Mapping Integrations. Refine with filters or upvote what's useful.
SpatialLM es un framework de modelado espacial que utiliza modelos de lenguaje de gran tamaño (LLM) para transformar datos de video monocular y sensores en mapas semánticos interiores estructurados. Funciona como un sistema para la estimación de diseños de interiores y un analizador semántico de nubes de puntos, convirtiendo datos geométricos crudos en representaciones de elementos arquitectónicos y categorías de objetos. El proyecto alinea entradas de sensores multimodales con tokens lingüísticos, permitiendo que un modelo de lenguaje actúe como un motor de razonamiento para inferir la topología de una habitación. Emplea mecanismos para convertir nubes de puntos 3D y secuencias de imágenes 2D en tokens discretos y codificaciones espaciales estructuradas, que luego se decodifican en diseños arquitectónicos. El framework abarca el análisis de escenas 3D y la detección de objetos para identificar mobiliario mediante cuadros delimitadores (bounding boxes) y etiquetas semánticas. También proporciona herramientas para la comprensión ambiental de robots, procesando datos de sensores para crear mapas semánticos destinados a la navegación autónoma.
Fuses deep learning inference with geometric maps to assign semantic labels to architectural elements.
This project is a technical reference guide and sensor-based robotics manual focused on the theoretical foundations and practical implementation of Simultaneous Localization and Mapping. It serves as a knowledge base for spatial AI, covering the integration of deep learning and semantic rendering to create intelligent systems for open world environments. The resource provides guidance on integrating multi-modal sensor data from cameras, LiDAR, radar, and inertial sensors for localization and mapping. It also establishes a bibliographic standard for robotics research by providing systems for m
Integrates deep learning inference with geometric mapping to assign meaningful semantic labels to 3D spatial environments.