jacobgil/vit-explain
Vit Explain
Vit-explain es un framework de diagnóstico diseñado para interpretar los procesos de toma de decisiones de los modelos vision transformer. Funciona como un kit de herramientas para inspeccionar estados internos del modelo, permitiendo a los usuarios mapear la atención visual y analizar cómo características específicas de la imagen influyen en los resultados de clasificación.
El proyecto se distingue por proporcionar una interpretación de modelo post-hoc, lo que permite el análisis de redes neuronales entrenadas sin requerir modificaciones arquitectónicas o reentrenamiento. Emplea técnicas como la extracción de características basada en hooks para interceptar activaciones internas durante el paso hacia adelante, junto con métodos como el despliegue de atención del transformer y la propagación de relevancia por capas para rastrear el flujo de información desde la entrada hasta la salida.
Al generar mapas de calor que rastrean el flujo de atención y la distribución de pesos, el framework visualiza qué píxeles y patrones específicos impulsan las predicciones de un modelo. Admite explicaciones específicas de clase filtrando mapas de atención con gradientes de clase objetivo, proporcionando una utilidad de diagnóstico para depurar modelos de deep learning e identificar los elementos visuales que contribuyen a los resultados de clasificación.
Features
- Deep Learning Interpretability - Analyzes neural network decision-making processes by mapping visual attention weights and gradients to input image regions.
- Transformer Explainability - Analyzes how vision transformer models process visual data by generating heatmaps that track attention flow across image regions.
- Attention Rollout Techniques - Aggregates attention maps across multiple layers by recursively multiplying weight matrices to trace the flow of information.
- Attention Visualizations - Generates heatmaps that track the flow of attention across image regions to reveal model processing priorities.
- Computer Vision Model Debugging - Visualizes internal decision-making processes by highlighting specific pixels and patterns that drive classification results.
- Internal Activation Hooks - Intercepts internal tensor activations during the forward pass to capture intermediate attention maps without modifying model architecture.
- Attribution Gradients - Calculates feature importance by backpropagating gradients from target classification outputs to input image patches.
- Relevance Propagation Methods - Distributes classification scores backward through network layers to identify which specific input pixels contributed most to the final prediction.
- Class-Specific Explainers - Filters attention maps with target class gradients to isolate visual elements contributing to specific classification outcomes.
- Transformer Explainability Tools - Provides diagnostic utilities for visualizing attention maps and gradients to interpret vision transformer classification features.
- Architecture Interpretation - Analyzes trained model weights and gradients to provide visual explanations without requiring retraining or architectural changes.
