Awesome GitHub RepositoriesComputer Vision Model Debugging

该项目是一个用于 PyTorch 的计算机视觉可解释 AI 库和框架，提供了一套工具来可视化和审计深度神经网络的内部决策过程。它作为一个神经网络归因工具和调试实用程序，用于识别哪些图像区域驱动了模型预测。 该库以其对基于梯度和无梯度归因方法的支持而著称，允许在无需修改原始模型源代码的情况下生成视觉热力图和归因图。它通过视觉概念发现进一步脱颖而出，使用矩阵分解将内部激活分解为可解释的模式，并将潜在嵌入映射到像素重要性。 该框架涵盖了广泛的能力，包括热力图生成和细化、针对视觉 Transformer 等架构的空间转换，以及针对目标检测和语义分割等多任务视觉目标的适配。它还包括一个模型保真度评估套件，采用扰动分析、消融研究和定位测量来量化生成解释的忠实度。 该项目提供了用于动态激活钩子、自定义架构适配和目标驱动目标配置的机制，以将可解释性工具连接到各种模型输出。

Vit-explain 是一个诊断框架，旨在解释视觉 Transformer（Vision Transformer）模型的决策过程。它作为一个用于检查内部模型状态的工具包，允许用户映射视觉注意力并分析特定图像特征如何影响分类结果。 该项目通过提供事后（post-hoc）模型解释脱颖而出，无需架构修改或重新训练即可分析训练好的神经网络。它采用诸如基于 Hook 的特征提取等技术在正向传递期间拦截内部激活，并结合 Transformer 注意力展开（attention rollout）和层级相关性传播（layer-wise relevance propagation）等方法，追踪信息从输入到输出的流动。 通过生成追踪注意力流和权重分布的热力图，该框架可视化了哪些特定像素和模式驱动了模型的预测。它通过使用目标类梯度过滤注意力图来支持类特定的解释，为调试深度学习模型和识别导致分类结果的视觉元素提供了诊断实用程序。