Awesome GitHub RepositoriesSkeletal Pose Pre-processing

mmaction2 est un toolkit de compréhension vidéo PyTorch conçu pour entraîner et évaluer des modèles de deep learning. Il sert de framework pour la reconnaissance d'action, la localisation temporelle et la détection d'action spatio-temporelle, fournissant des outils spécialisés pour l'analyse vidéo basée sur les pixels et la reconnaissance d'action basée sur le squelette. Le projet se distingue par une architecture modulaire présentant une découverte de composants basée sur un registre et un assemblage de modèles hiérarchique piloté par configuration. Il supporte la fusion de caractéristiques multi-modales, intégrant des frames RGB, le flux optique et l'audio, et inclut des capacités pour la récupération de clips vidéo par texte et la prédiction vidéo zero-shot. Globalement, le framework couvre l'ingénierie de jeux de données vidéo, incluant la standardisation des annotations et l'échantillonnage de frames, ainsi que l'entraînement et l'évaluation complets des modèles. Il fournit des utilitaires pour l'entraînement distribué, la distillation de connaissances et l'optimisation de l'inférence via la reparamétrisation de modèles. La base de code supporte l'export de modèles ONNX et la conteneurisation de l'environnement pour le déploiement à travers différents nœuds de calcul.