Awesome GitHub RepositoriesPredictive Density Heatmaps

该项目是一个用于 PyTorch 的计算机视觉可解释 AI 库和框架，提供了一套工具来可视化和审计深度神经网络的内部决策过程。它作为一个神经网络归因工具和调试实用程序，用于识别哪些图像区域驱动了模型预测。 该库以其对基于梯度和无梯度归因方法的支持而著称，允许在无需修改原始模型源代码的情况下生成视觉热力图和归因图。它通过视觉概念发现进一步脱颖而出，使用矩阵分解将内部激活分解为可解释的模式，并将潜在嵌入映射到像素重要性。 该框架涵盖了广泛的能力，包括热力图生成和细化、针对视觉 Transformer 等架构的空间转换，以及针对目标检测和语义分割等多任务视觉目标的适配。它还包括一个模型保真度评估套件，采用扰动分析、消融研究和定位测量来量化生成解释的忠实度。 该项目提供了用于动态激活钩子、自定义架构适配和目标驱动目标配置的机制，以将可解释性工具连接到各种模型输出。

这是一个 PyTorch CNN 可视化工具包，专为神经网络可解释性而设计。它提供了一套工具，通过可视化激活、梯度和过滤器来解释模型决策并分析卷积神经网络的内部行为。 该项目实现了用于合成代表性图像的专门技术，包括用于放大模式的 Deep Dream 优化和通过输入优化进行的类特定图像生成。它还具有显著性图（saliency map）生成器，可产生基于梯度的热图，以识别影响分类结果的特定图像区域。 该工具包涵盖了更广泛的层分析功能，例如从内部激活重建输入表示和可视化网络过滤器。它包括用于梯度可视化和降噪的技术，以提高显著性图的清晰度。

Tensorpack 是一个高级 TensorFlow 神经网络框架和研究库，专为构建和训练深度学习模型而设计。它提供了一系列可复现的神经网络架构，用于计算机视觉、生成任务、强化学习和自然语言处理。 该项目通过一个专门的深度学习数据流水线脱颖而出，该流水线使用纯 Python 进行并行数据加载和流式传输。它包括一个用于通过数据并行策略分发工作负载的多 GPU 训练编排器，以及一个用于可视化模型显著性和激活图的专用可解释性工具包。 该框架涵盖了广泛的功能，包括用于目标检测和语义分割的计算机视觉流水线、用于语音和文本的序列建模，以及强化学习代理开发。它还提供用于权重量化和低位宽训练的模型优化工具，以及用于复现学术研究论文和转换遗留 Caffe 模型权重的实用程序。

mmaction2 是一个 PyTorch 视频理解工具箱，专为训练和评估深度学习模型而设计。它作为一个用于动作识别、时间定位和时空动作检测的框架，为基于像素的视频分析和基于骨架的动作识别提供了专业工具。 该项目以其模块化架构而著称，具有基于注册表的组件发现和分层、配置驱动的模型组装功能。它支持多模态特征融合，集成 RGB 帧、光流和音频，并包括用于文本到视频片段检索和零样本视频预测的功能。 该框架广泛涵盖了视频数据集工程，包括标注标准化和帧采样，以及全面的模型训练和评估。它提供用于分布式训练、知识蒸馏和通过模型重参数化进行推理优化的实用程序。 该代码库支持 ONNX 模型导出和用于跨不同计算节点部署的环境容器化。