apple/ml-depth-pro
Ml Depth Pro
Este proyecto es un modelo de estimación de profundidad monocular y framework de visión por computadora diseñado para calcular la distancia absoluta y la escala a partir de imágenes individuales. Funciona como un estimador de profundidad métrica que genera mapas de profundidad de alta resolución sin requerir metadatos de distancia focal específicos de la cámara.
El sistema utiliza una arquitectura de transformador de visión para la extracción de características e inferencia de disparo cero (zero-shot) para producir predicciones de profundidad a escala métrica. Incluye componentes especializados para el refinamiento de profundidad de bordes nítidos para mantener detalles de bordes de alta frecuencia y evitar el desenfoque en los límites de los objetos.
El repositorio también proporciona un framework de evaluación de mapas de profundidad. Esto incluye utilidades para la evaluación de límites de profundidad y métricas de precisión para medir la exactitud de los bordes estimados frente a datos de verdad fundamental (ground truth).
Features
- Monocular Depth Estimators - Acts as a monocular depth estimator that predicts metric depth from single images without camera metadata.
- Computer Vision Models - Implements a neural network architecture designed for high-precision depth boundary analysis.
- Metric Depth Estimators - Implements a model that outputs depth values in real-world units for absolute distance measurements.
- Single-Image Metric Depth Mappers - Provides the capability to generate metric-scale depth maps from a single image input.
- Depth Map Evaluation - Includes a framework to assess the precision of estimated depth boundaries against ground truth data.
- Computer Vision - Provides a framework for analyzing image spatiality and structural boundaries for scene understanding.
- Vision Transformer Encoders - Utilizes a vision transformer architecture to encode global context and local details.
- Depth Accuracy Metrics - Provides utilities for calculating boundary metrics to measure the precision of estimated distance data.
- Depth Map Evaluation Frameworks - Ships a framework of boundary metrics to measure depth map accuracy against ground truth.
- Boundary Precision Metrics - Implements specialized boundary metrics to measure the precision of edges in estimated depth maps.
- Edge Detail Refinements - Includes specialized components to maintain sharp object boundaries and prevent blurriness in depth maps.
