GuyTevet/motion-diffusion-model
Motion Diffusion Model
Este es un framework de aprendizaje profundo de PyTorch y una herramienta para la síntesis de movimiento humano que genera animaciones de personajes en 3D a partir de prompts de texto o descripciones de acciones. Funciona como un generador de texto a movimiento que convierte lenguaje natural y etiquetas categóricas en secuencias de movimiento esquelético en 3D temporalmente consistentes.
El sistema utiliza un modelo de difusión basado en transformadores para eliminar el ruido de los datos de movimiento de forma iterativa. Incluye capacidades para la generación condicionada por acciones, levantamiento de movimiento monocular a 3D y edición de secuencias de movimiento utilizando restricciones de texto.
El framework incorpora la aplicación de restricciones de movimiento geométricas para garantizar la plausibilidad física a través de pérdidas de ubicación de articulaciones y velocidad. Además, cubre todo el pipeline de animación, incluyendo el entrenamiento del modelo de movimiento, la evaluación del rendimiento frente a datasets de referencia, el renderizado de mallas 3D y el control de simulación basado en física para la interacción ambiental.
Features
- Text-to-Motion Generators - Implements a transformer-based diffusion model to generate natural and expressive 3D human animations from text prompts.
- Diffusion Transformers - Implements a transformer-based diffusion architecture to iteratively denoise 3D motion sequences.
- 3D Parametric Human Animation Models - Generates high-quality human movement sequences using 3D parametric models.
- Action-to-Motion Mappings - Implements latent mapping to associate discrete action categories with continuous 3D motion representations.
- Cross-Attention Conditioning - Employs cross-attention mechanisms to condition the diffusion process on natural language embeddings.
- Diffusion Model Frameworks - Ships a PyTorch-based framework specifically for training and sampling from diffusion models for motion.
- Text-to-Motion Generators - Converts natural language prompts into temporally consistent 3D skeletal movement sequences.
- Human Motion Analysis - Provides a toolset for creating and editing physically plausible human animations from learned datasets.
- Iterative Noise Removal - Utilizes an iterative denoising process to refine random noise into structured 3D motion data.
- Human Motion Synthesis - Generates physically plausible human movements conditioned on action labels or monocular data.
- Diffusion Model Training - Provides training workflows for diffusion models to learn mappings between text, actions, and human movement.
- Kinematic Plausibility Constraints - Enforces physical plausibility through joint-location and velocity loss constraints during synthesis.
- 2D-to-3D Mesh Lifting - Translates 2D monocular motion data into 3D skeletal structures using learned diffusion priors.
- Animation Pipelines - Provides a full workflow for generating motion data and rendering 3D meshes for animation software.
- Motion Sequence Editors - Provides capabilities to modify specific parts of movement sequences using text constraints and markers to refine 3D animations.
- Kinematic Constraint Enforcement - Applies losses to joint locations and velocities to ensure generated movements remain physically plausible.
- Motion Generation - Provides a foundational diffusion-based framework for human motion synthesis.
