Awesome GitHub RepositoriesComputer Vision Model Debugging

Ce projet est une bibliothèque et un framework d'IA explicable pour la vision par ordinateur pour PyTorch, fournissant une suite d'outils pour visualiser et auditer les processus de prise de décision internes des réseaux de neurones profonds. Il sert d'outil d'attribution de réseau de neurones et d'utilitaire de débogage pour identifier quelles régions d'image conduisent les prédictions du modèle. La bibliothèque se distingue par son support pour les méthodes d'attribution basées sur le gradient et sans gradient, permettant la génération de cartes thermiques visuelles et de cartes d'attribution sans nécessiter de modifications du code source du modèle original. Elle se différencie en outre par la découverte de concepts visuels, utilisant la factorisation de matrice pour décomposer les activations internes en modèles interprétables et cartographier les intégrations latentes à l'importance des pixels. Le framework couvre un large éventail de capacités, notamment la génération et le raffinement de cartes thermiques, la transformation spatiale pour des architectures comme les transformeurs de vision, et des adaptations pour des objectifs de vision multi-tâches tels que la détection d'objets et la segmentation sémantique. Il inclut également une suite d'évaluation de la fidélité du modèle qui utilise l'analyse de perturbation, les études d'ablation et les mesures de localisation pour quantifier la fidélité des explications générées. Le projet fournit des mécanismes pour le hook d'activation dynamique, l'adaptation d'architecture personnalisée et la configuration d'objectifs axée sur la cible pour connecter les outils d'explicabilité à diverses sorties de modèle.

Vit-explain est un framework de diagnostic conçu pour interpréter les processus de prise de décision des modèles de vision transformer. Il fonctionne comme une boîte à outils pour inspecter les états internes des modèles, permettant aux utilisateurs de mapper l'attention visuelle et d'analyser comment des caractéristiques d'image spécifiques influencent les résultats de classification. Le projet se distingue en fournissant une interprétation de modèle post-hoc, qui permet l'analyse de réseaux neuronaux entraînés sans nécessiter de modifications architecturales ou de réentraînement. Il emploie des techniques telles que l'extraction de caractéristiques basée sur des hooks pour intercepter les activations internes lors du passage vers l'avant (forward pass), ainsi que des méthodes comme le déploiement de l'attention transformer et la propagation de pertinence par couche pour tracer le flux d'informations de l'entrée à la sortie. En générant des cartes de chaleur (heatmaps) qui suivent le flux d'attention et la distribution des poids, le framework visualise quels pixels et motifs spécifiques pilotent les prédictions d'un modèle. Il prend en charge des explications spécifiques aux classes en filtrant les cartes d'attention avec les gradients de la classe cible, fournissant un utilitaire de diagnostic pour déboguer les modèles d'apprentissage profond et identifier les éléments visuels qui contribuent aux résultats de classification.