jacobgil/vit-explain
Vit Explain
Vit-explain este un framework de diagnosticare conceput pentru a interpreta procesele de luare a deciziilor ale modelelor de tip vision transformer. Funcționează ca un toolkit pentru inspectarea stărilor interne ale modelului, permițând utilizatorilor să mapeze atenția vizuală și să analizeze modul în care caracteristicile specifice ale imaginii influențează rezultatele clasificării.
Proiectul se distinge prin furnizarea unei interpretări post-hoc a modelului, care permite analiza rețelelor neuronale antrenate fără a necesita modificări arhitecturale sau reantrenare. Utilizează tehnici precum extragerea de caracteristici bazată pe hook-uri pentru a intercepta activările interne în timpul trecerii înainte (forward pass), alături de metode precum transformer attention rollout și layer-wise relevance propagation pentru a urmări fluxul de informații de la input la output.
Prin generarea de hărți de căldură (heatmaps) care urmăresc fluxul de atenție și distribuția ponderilor, framework-ul vizualizează care pixeli și tipare specifice conduc predicțiile unui model. Suportă explicații specifice clasei prin filtrarea hărților de atenție cu gradienți ai clasei țintă, oferind un utilitar de diagnosticare pentru depanarea modelelor de deep learning și identificarea elementelor vizuale care contribuie la rezultatele clasificării.
Features
- Deep Learning Interpretability - Analyzes neural network decision-making processes by mapping visual attention weights and gradients to input image regions.
- Transformer Explainability - Analyzes how vision transformer models process visual data by generating heatmaps that track attention flow across image regions.
- Attention Rollout Techniques - Aggregates attention maps across multiple layers by recursively multiplying weight matrices to trace the flow of information.
- Attention Visualizations - Generates heatmaps that track the flow of attention across image regions to reveal model processing priorities.
- Computer Vision Model Debugging - Visualizes internal decision-making processes by highlighting specific pixels and patterns that drive classification results.
- Internal Activation Hooks - Intercepts internal tensor activations during the forward pass to capture intermediate attention maps without modifying model architecture.
- Attribution Gradients - Calculates feature importance by backpropagating gradients from target classification outputs to input image patches.
- Relevance Propagation Methods - Distributes classification scores backward through network layers to identify which specific input pixels contributed most to the final prediction.
- Class-Specific Explainers - Filters attention maps with target class gradients to isolate visual elements contributing to specific classification outcomes.
- Transformer Explainability Tools - Provides diagnostic utilities for visualizing attention maps and gradients to interpret vision transformer classification features.
- Architecture Interpretation - Analyzes trained model weights and gradients to provide visual explanations without requiring retraining or architectural changes.
