Awesome GitHub RepositoriesPredictive Density Heatmaps

Ce projet est une bibliothèque et un framework d'IA explicable pour la vision par ordinateur pour PyTorch, fournissant une suite d'outils pour visualiser et auditer les processus de prise de décision internes des réseaux de neurones profonds. Il sert d'outil d'attribution de réseau de neurones et d'utilitaire de débogage pour identifier quelles régions d'image conduisent les prédictions du modèle. La bibliothèque se distingue par son support pour les méthodes d'attribution basées sur le gradient et sans gradient, permettant la génération de cartes thermiques visuelles et de cartes d'attribution sans nécessiter de modifications du code source du modèle original. Elle se différencie en outre par la découverte de concepts visuels, utilisant la factorisation de matrice pour décomposer les activations internes en modèles interprétables et cartographier les intégrations latentes à l'importance des pixels. Le framework couvre un large éventail de capacités, notamment la génération et le raffinement de cartes thermiques, la transformation spatiale pour des architectures comme les transformeurs de vision, et des adaptations pour des objectifs de vision multi-tâches tels que la détection d'objets et la segmentation sémantique. Il inclut également une suite d'évaluation de la fidélité du modèle qui utilise l'analyse de perturbation, les études d'ablation et les mesures de localisation pour quantifier la fidélité des explications générées. Le projet fournit des mécanismes pour le hook d'activation dynamique, l'adaptation d'architecture personnalisée et la configuration d'objectifs axée sur la cible pour connecter les outils d'explicabilité à diverses sorties de modèle.

Il s'agit d'une boîte à outils de visualisation CNN PyTorch conçue pour l'interprétabilité des réseaux de neurones. Elle fournit un ensemble d'outils pour expliquer les décisions des modèles et analyser le comportement interne des réseaux de neurones convolutifs par la visualisation des activations, des gradients et des filtres. Le projet implémente des techniques spécialisées pour synthétiser des images représentatives, y compris des optimisations Deep Dream pour amplifier les motifs et la génération d'images spécifiques à une classe via l'optimisation des entrées. Il dispose également d'un générateur de cartes de saillance qui produit des cartes thermiques basées sur le gradient pour identifier les régions d'image spécifiques influençant un résultat de classification. La boîte à outils couvre des capacités plus larges pour l'analyse de couches, telles que la reconstruction de représentations d'entrée à partir d'activations internes et la visualisation des filtres de réseau. Elle inclut des méthodes pour la visualisation des gradients et des techniques de réduction du bruit pour améliorer la clarté des cartes de saillance.

Tensorpack est un framework de réseau de neurones TensorFlow de haut niveau et une bibliothèque de recherche conçue pour construire et entraîner des modèles de deep learning. Il fournit une collection d'architectures de réseaux de neurones reproductibles pour la vision par ordinateur, les tâches génératives, l'apprentissage par renforcement et le traitement du langage naturel. Le projet se distingue par un pipeline de données de deep learning spécialisé qui utilise du Python pur pour le chargement et le streaming de données en parallèle. Il inclut un orchestrateur d'entraînement multi-GPU pour distribuer les charges de travail via des stratégies de parallélisme de données et un toolkit d'interprétabilité dédié pour visualiser la saillance des modèles et les cartes d'activation. Le framework couvre un large éventail de capacités, incluant des pipelines de vision par ordinateur pour la détection d'objets et la segmentation sémantique, la modélisation de séquences pour la parole et le texte, et le développement d'agents d'apprentissage par renforcement. Il fournit également des outils d'optimisation de modèle pour la quantification des poids et l'entraînement en faible précision, ainsi que des utilitaires pour reproduire des articles de recherche académique et convertir des poids de modèles Caffe legacy.

mmaction2 est un toolkit de compréhension vidéo PyTorch conçu pour entraîner et évaluer des modèles de deep learning. Il sert de framework pour la reconnaissance d'action, la localisation temporelle et la détection d'action spatio-temporelle, fournissant des outils spécialisés pour l'analyse vidéo basée sur les pixels et la reconnaissance d'action basée sur le squelette. Le projet se distingue par une architecture modulaire présentant une découverte de composants basée sur un registre et un assemblage de modèles hiérarchique piloté par configuration. Il supporte la fusion de caractéristiques multi-modales, intégrant des frames RGB, le flux optique et l'audio, et inclut des capacités pour la récupération de clips vidéo par texte et la prédiction vidéo zero-shot. Globalement, le framework couvre l'ingénierie de jeux de données vidéo, incluant la standardisation des annotations et l'échantillonnage de frames, ainsi que l'entraînement et l'évaluation complets des modèles. Il fournit des utilitaires pour l'entraînement distribué, la distillation de connaissances et l'optimisation de l'inférence via la reparamétrisation de modèles. La base de code supporte l'export de modèles ONNX et la conteneurisation de l'environnement pour le déploiement à travers différents nœuds de calcul.