Awesome GitHub RepositoriesGeometric Deep Learning Frameworks

DGL is a Python library for building and training graph neural networks. It functions as a graph message passing framework and a geometric deep learning tool, enabling the development of models that analyze graph-structured data. The library is designed for large-scale graph processing, utilizing distributed training and neighbor sampling to handle datasets with billions of edges. It provides specialized support for heterogeneous graph modeling, allowing for the representation of complex real-world entities with multiple node and edge types. Its capabilities cover a wide range of graph tasks

PyTorch3D is a 3D geometric deep learning library and mesh processing toolkit designed for learning from point clouds and complex 3D surface geometries. It provides a collection of reusable components and data structures for deep learning with 3D data, including a framework for training and evaluating neural radiance fields to enable photorealistic view synthesis. The project features a differentiable 3D renderer that converts meshes and point clouds into 2D images while allowing gradients to flow back into the geometry and textures. This enables 3D shape optimization, where mesh geometry, te

PCDet es una caja de herramientas para la detección de objetos 3D mediante LiDAR y una librería de procesamiento de nubes de puntos construida sobre el framework de deep learning PyTorch. Proporciona un sistema para identificar y localizar objetos tridimensionales dentro de datos de nubes de puntos. El proyecto utiliza un patrón de separación de datos y modelo para desacoplar la lógica de carga del dataset del pipeline de detección principal. Cuenta con un pipeline de fusión multisensor que combina datos de múltiples sensores en una vista espacial compartida y un sistema de entrenamiento distribuido en GPU para escalar las cargas de trabajo a través de múltiples procesadores gráficos. El toolkit cubre varias áreas de capacidad, incluyendo la extracción de características basada en vóxeles y el análisis temporal de nubes de puntos mediante fusión de múltiples fotogramas. También incorpora optimizaciones de rendimiento para la intersección sobre unión 3D acelerada por GPU y la supresión de no máximos rotada.

graph_nets es un framework de aprendizaje profundo estructurado en grafos y una librería para construir redes neuronales de paso de mensajes. Proporciona herramientas para diseñar arquitecturas que operan sobre nodos y aristas para procesar y razonar sobre datos estructurados como grafos utilizando TensorFlow. El framework implementa un paradigma de paso de mensajes para el intercambio iterativo de información entre nodos. Este enfoque permite el desarrollo de modelos que pueden razonar sobre entradas complejas estructuradas en grafos para tareas como la búsqueda de rutas y la clasificación, o servir como predictor para los estados futuros y trayectorias de sistemas físicos.

SpatialLM es un framework de modelado espacial que utiliza modelos de lenguaje de gran tamaño (LLM) para transformar datos de video monocular y sensores en mapas semánticos interiores estructurados. Funciona como un sistema para la estimación de diseños de interiores y un analizador semántico de nubes de puntos, convirtiendo datos geométricos crudos en representaciones de elementos arquitectónicos y categorías de objetos. El proyecto alinea entradas de sensores multimodales con tokens lingüísticos, permitiendo que un modelo de lenguaje actúe como un motor de razonamiento para inferir la topología de una habitación. Emplea mecanismos para convertir nubes de puntos 3D y secuencias de imágenes 2D en tokens discretos y codificaciones espaciales estructuradas, que luego se decodifican en diseños arquitectónicos. El framework abarca el análisis de escenas 3D y la detección de objetos para identificar mobiliario mediante cuadros delimitadores (bounding boxes) y etiquetas semánticas. También proporciona herramientas para la comprensión ambiental de robots, procesando datos de sensores para crear mapas semánticos destinados a la navegación autónoma.

This project is a technical reference guide and sensor-based robotics manual focused on the theoretical foundations and practical implementation of Simultaneous Localization and Mapping. It serves as a knowledge base for spatial AI, covering the integration of deep learning and semantic rendering to create intelligent systems for open world environments. The resource provides guidance on integrating multi-modal sensor data from cameras, LiDAR, radar, and inertial sensors for localization and mapping. It also establishes a bibliographic standard for robotics research by providing systems for m

PointNet++ is a deep learning framework designed for processing and classifying 3D point cloud data. It utilizes a hierarchical feature learning architecture to extract geometric patterns from sampled 3D point sets. The framework implements a variety of 3D analysis tools, including a point cloud classifier for categorizing objects based on spatial coordinates and surface normals, a semantic scene segmenter for labeling surfaces in large-scale environments, and a tool for 3D object part segmentation. The system covers a broad range of capabilities including geometric feature extraction, 3D da