isl-org/MiDaSArchived
MiDaS
MiDaS es una librería de visión artificial de PyTorch y un modelo de estimación de profundidad monocular diseñado para predecir la profundidad de una escena a partir de imágenes individuales. Funciona como un predictor de profundidad de escena que calcula mapas de distancia para determinar la proximidad de los objetos a la cámara.
El proyecto permite la transferencia de profundidad zero-shot, lo que permite aplicar el modelo a nuevos conjuntos de datos o entornos sin necesidad de datos de entrenamiento adicionales. Se centra en la regresión de profundidad relativa para predecir mapas de profundidad invariantes a la escala.
La librería incluye un visualizador de profundidad en tiempo real para capturar transmisiones de cámara en vivo y mostrar los mapas de profundidad correspondientes. También proporciona capacidades de preprocesamiento de visión artificial para generar datos de escena estructurales para otros modelos de aprendizaje automático.
Features
- Depth Estimation - Computes distance maps from single images using deep learning models to determine object proximity to the camera.
- Monocular Depth Estimators - Computes distance maps from a single image to determine how far objects are from the camera.
- Relative Depth Map Generators - Computes distance maps from images to determine how far objects are from the camera.
- Relative Depth Estimators - Predicts scale-invariant depth maps by focusing on relative distances between objects rather than absolute metric values.
- Zero-Shot Depth Transfer - Enables the application of depth estimation models to new datasets or environments without additional training data.
- PyTorch Implementations - Collection of neural network implementations for depth perception built using the PyTorch framework.
- Computer Vision Preprocessing - Generates depth maps from images to provide structural scene data for other machine learning models.
- Mixed-Dataset Training - Combines diverse depth datasets during training to improve the model's ability to generalise across real-world environments.
- CNN Feature Extractors - Uses a deep convolutional neural network to identify visual patterns and spatial relationships for feature extraction.
- Live Depth Visualizations - Captures real-time camera imagery and displays corresponding depth maps for immediate visual feedback.
- Real-time Depth Streaming - Processes live camera feeds to generate and display depth information for immediate visual feedback.
- Depth Visualizers - Captures live camera feeds and displays corresponding depth maps for immediate visual feedback.
- Real-Time Model Inference on Frames - Executes model forward passes on incoming camera frames to generate a continuous stream of depth maps.
