Awesome GitHub RepositoriesAudio Driven Synthesis

SadTalker is a generative framework designed to synthesize expressive talking head videos from static portrait images. By mapping audio signals or text prompts to three-dimensional facial motion coefficients, the system synchronizes lip movements, facial expressions, and head orientation to create realistic digital character performances. The project distinguishes itself by decoupling identity from dynamic motion through latent space encoding, ensuring that the generated animations maintain visual fidelity to the source portrait. It supports comprehensive motion synthesis, including full-body

Wav2Lip is a deep learning lip sync model and neural talking head framework designed to synchronize the lip movements in a video to match a provided audio file. It functions as a computer vision lip synchronizer and speech-to-lip generator that maps speech patterns to visual mouth movements to produce realistic talking head videos. The system utilizes a framework for training and evaluating models that align audio and video frames. This includes the ability to train lip-sync models and visual discriminators using speech-to-lip datasets and evaluating the resulting synchronization accuracy thr

Hallo is an audio-driven talking head generator and portrait animation framework. It synchronizes a static portrait image with an audio file to produce realistic talking head videos by mapping audio spectral features to facial expressions and lip movements. The system utilizes a diffusion video synthesis model that employs iterative denoising and latent representations to generate temporally consistent video frames. It incorporates identity-preserving feature extraction and latent space motion modeling to maintain visual consistency and control facial poses. The toolkit provides capabilities

EMO este un model de animație a portretelor AI și de difuzie audio-video conceput pentru a genera videoclipuri expresive cu capete vorbitoare. Acesta transformă o singură imagine statică de portret și o pistă audio într-un videoclip sincronizat al unei persoane care vorbește. Sistemul se concentrează pe sinteza digitală a oamenilor, producând mișcări faciale de înaltă fidelitate și indicii emoționale. Sincronizează mișcările buzelor și gesturile faciale cu înregistrările vocale pentru a crea animații realiste ale portretelor. Framework-ul utilizează un proces de difuzie și un mecanism de aliniere cross-modal pentru a asigura sincronizarea între semnalele audio și punctele de reper vizuale. Utilizează condiționarea imaginii bazată pe referință pentru a menține consistența identității și un strat de consistență temporală pentru a asigura o mișcare fluidă între cadre.

LatentSync este un generator video audio-driven și un model de lip sync cu difuzie latentă, conceput pentru a sincroniza mișcările buzelor unui vorbitor într-un video cu o pistă audio țintă. Oferă un framework de antrenament pentru sincronizarea buzelor, pentru dezvoltarea rețelelor de sincronizare pe seturi de date video și audio personalizate. Sistemul utilizează un pipeline de preprocesare video pentru a curăța, segmenta și alinia datele faciale. Include un instrument de evaluare a sincronizării vizuale care calculează scoruri de încredere pentru a măsura acuratețea alinierii audio și vizuale în videoclipurile generate. Proiectul acoperă capabilități pentru dezvoltarea rețelelor de sincronizare personalizate, gestionarea configurației de antrenament pentru memoria hardware și rezoluție, precum și evaluarea video sintetică.

MuseTalk is a deep learning lip synchronization system designed to align video facial movements with audio tracks for high-fidelity video dubbing. It functions as an engine that matches facial expressions to audio input in real-time, enabling the modification of a speaker's lip movements to match new audio sources across different languages. The project features a distributed GPU training pipeline and a multi-stage processing workflow for refining the visual accuracy of synthetic speech. It distinguishes itself through the use of region-specific face masking and mouth openness control, which

AniPortrait este un pipeline de sinteză video AI conceput pentru a genera portrete vorbitoare fotorealiste și animații faciale. Funcționează ca un generator de talking head și animator bazat pe audio care sincronizează mișcările buzelor, expresiile și pozițiile capului cu surse de vorbire sau video de referință. Sistemul include un instrument de transfer al expresiilor faciale pentru reenactment-ul mișcărilor dintr-un video sursă pe o imagine de referință statică. Utilizează un model de difuzie latentă cu condiționare a imaginii bazată pe referință pentru a menține identitatea vizuală și consistența pe cadrele generate. Pipeline-ul acoperă maparea audio-la-expresie, controlul mișcării ghidat de poziție și sinteza video fotorealistă. Încorporează upsampling prin interpolarea cadrelor pentru a accelera procesul de generare și a reduce timpul total de randare.

InfiniteTalk is an open-source system for generating talking head videos driven by audio input. It synthesizes realistic lip movements, head poses, and facial expressions synchronized to a spoken audio track, using either a single still image or a small set of reference video frames as the visual source. The system can produce videos of arbitrary length while maintaining temporal coherence, and it supports animating multiple subjects in a single scene. A key differentiator is the ability to coordinate multiple talking subjects through a structured JSON description, giving each independent lip

EchoMimic este un framework de animație a portretelor bazat pe audio și un generator video de difuzie latentă. Acesta transformă imaginile de referință statice în videoclipuri dinamice cu capete vorbitoare prin sincronizarea mișcărilor faciale cu piesele audio și driverele de mișcare. Sistemul funcționează ca un motor hibrid de sinteză a mișcării care combină input-urile audio și datele de postură. Utilizează un controler de mișcare a punctelor de reper faciale pentru a edita markerii de poziționare, permițând sincronizarea precisă și transferul de postură video-la-video. Conducta acoperă animația imagine-la-video prin difuzie latentă și condiționarea punctelor de reper faciale. Acest lucru permite animația portretelor condusă de audio, postură sau o combinație a ambelor surse de ghidare.

Hallo2 is an AI video generation tool and audio-driven portrait animation framework designed to transform static images into speaking videos. It functions as a portrait image animator that synchronizes a single photo with an audio track to produce high-resolution talking head videos. The system includes a distributed animation trainer for fine-tuning deep learning models using custom datasets and distributed computing resources. It employs hierarchical video generation and temporal consistency modeling to produce long-form character animations that remain stable over extended durations. The

OmniAvatar: Efficient Audio-Driven Avatar Video Generation with Adaptive Body Animation

This repository contains the implementation of the following paper:

The source code of "DINet: deformation inpainting network for realistic face visually dubbing on high resolution video."

)](https://github.com/yerfor/Real3DPortrait) | 中文文档

This is the code repository implementing the paper:

JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

The pytorch implementation for our CVPR2023 paper "DiffTalk: Crafting Diffusion Models for Generalized Audio-Driven Portraits Animation".

1 Shanghai Jiao Tong University 2 NetEase Fuxi AI Lab ECCV 2024 Oral