Awesome GitHub Repositories3D Spatial Preprocessing

Nerfstudio est un framework de développement modulaire pour entraîner, visualiser et exporter des représentations de scènes tridimensionnelles dérivées d'ensembles de données d'images bidimensionnelles. Il fournit un pipeline de reconstruction de scène neuronale qui convertit les images brutes et les données de caméra en actifs 3D haute fidélité et en vidéo cinématographique en utilisant un rendu volumétrique différentiable. Le système dispose d'un visualiseur interactif basé sur le web qui permet aux utilisateurs de surveiller la progression de l'entraînement et d'inspecter la géométrie de la scène neuronale en temps réel. Il découple les architectures de réseaux de neurones de la boucle d'entraînement via une interface modulaire standardisée, permettant le développement et l'expérimentation d'architectures de champs de radiance neuronaux personnalisées. Le framework couvre un large éventail de capacités, notamment le prétraitement des ensembles de données pour le calcul de la pose de la caméra, l'évaluation de la fidélité du modèle et la génération de séquences vidéo cinématographiques via l'interpolation de trajectoire de caméra. Il inclut également des utilitaires pour exporter des scènes entraînées en tant qu'actifs 3D et nuages de points pour une utilisation dans des logiciels de modélisation externes. L'exécution matérielle cohérente est prise en charge par des environnements conteneurisés qui regroupent les pilotes graphiques et les dépendances système.

Kaolin est une bibliothèque de deep learning 3D PyTorch fournissant une suite complète d'outils pour le traitement de géométrie 3D, la simulation physique, la visualisation de données et le rendu basé sur le gradient pour la vision par ordinateur. La bibliothèque inclut un moteur de rendu 3D différentiable et une boîte à outils de traitement de géométrie pour convertir et transformer des représentations 3D telles que des maillages (meshes) et des nuages de points. Elle dispose également d'un moteur de simulation physique 3D pour calculer les interactions physiques et les collisions entre des objets et des scènes tridimensionnels. La boîte à outils fournit des utilitaires pour la visualisation de données 3D, incluant la création de vues interactives et d'animations de type plateau tournant. Les capacités supplémentaires couvrent la gestion des jeux de données 3D, le prétraitement des données et le rendu de représentations 3D.