1 Repo
Applying explainability and attribution techniques across multiple vision tasks including classification, detection, and segmentation.
Distinct from Multi-Task Vision Training: Focuses on explaining models that perform multiple tasks, not the training of multi-task models.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Multi-Task Vision Explainability. Refine with filters or upvote what's useful.
Dieses Projekt ist eine Computer-Vision-Bibliothek für erklärbare KI und ein Framework für PyTorch, das eine Suite von Tools zur Visualisierung und Prüfung der internen Entscheidungsprozesse tiefer neuronaler Netze bereitstellt. Es dient als Attributions-Tool für neuronale Netze und Debugging-Dienstprogramm, um zu identifizieren, welche Bildregionen Modellvorhersagen steuern. Die Bibliothek zeichnet sich durch ihre Unterstützung sowohl für gradientenbasierte als auch für gradientenfreie Attributionsmethoden aus, was die Generierung visueller Heatmaps und Attributionskarten ermöglicht, ohne dass Änderungen am ursprünglichen Modellquellcode erforderlich sind. Sie differenziert sich zudem durch die Entdeckung visueller Konzepte, wobei Matrixfaktorisierung verwendet wird, um interne Aktivierungen in interpretierbare Muster zu zerlegen und latente Einbettungen auf Pixelwichtigkeit abzubilden. Das Framework deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Heatmap-Generierung und -Verfeinerung, räumlicher Transformation für Architekturen wie Vision-Transformer und Anpassungen für multimodale Vision-Ziele wie Objekterkennung und semantische Segmentierung. Es enthält zudem eine Suite zur Bewertung der Modelltreue, die Störungsanalysen, Ablationsstudien und Lokalisierungsmessungen verwendet, um die Genauigkeit generierter Erklärungen zu quantifizieren. Das Projekt bietet Mechanismen für dynamisches Aktivierungs-Hooking, benutzerdefinierte Architektur-Anpassung und zielorientierte Zielkonfiguration, um Erklärbarkeits-Tools mit verschiedenen Modellausgaben zu verbinden.
Adapts explainability and attribution techniques across diverse tasks including image classification, object detection, and semantic segmentation.