Awesome GitHub RepositoriesCondition Map Rendering

Champ est un système de vision génératif et un générateur image-à-vidéo contrôlable conçu pour l'animation d'images humaines. Il utilise un synthétiseur vidéo basé sur la diffusion et un guidage paramétrique 3D pour transformer une image de référence unique en une séquence cohérente de mouvement basée sur des données de pilotage externes. Le framework se distingue par un système de transfert de pose humaine qui emploie l'extraction paramétrique du corps 3D et l'alignement dans l'espace de coordonnées. Cela permet au modèle de mapper le mouvement d'une vidéo de pilotage vers une personne de référence en s'ajustant aux échelles corporelles et aux perspectives de caméra en utilisant des cartes de profondeur et de conditionnement sémantique. Le système couvre un large éventail de capacités incluant l'affinement des données de mouvement, le transfert de mouvement paramétrique et un pipeline d'entraînement de modèle de vision à deux étapes. Ces processus assurent la cohérence structurelle et la stabilité temporelle à travers les animations humaines générées.