2 Repos
Awesome GitHub RepositoriesAudio-Visual Conditioning
Conditioning mechanisms that combine audio signals and visual landmarks to guide generative models.
Distinct from Audio Multi-Conditioning: Distinct from Audio Multi-Conditioning as it specifically integrates facial visual landmarks for lip sync, not just text/melody.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Audio-Visual Conditioning. Refine with filters or upvote what's useful.
Awesome Audio-Visual Conditioning GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- bytedance/latentsync
bytedance/LatentSync
5,806Auf GitHub ansehenLatentSync ist ein audio-gesteuerter Videogenerator und ein Latent-Diffusion-Lip-Sync-Modell, das darauf ausgelegt ist, die Lippenbewegungen eines Sprechers in einem Video mit einer Ziel-Audiospur zu synchronisieren. Es bietet ein Lip-Sync-Trainings-Framework zur Entwicklung von Synchronisationsnetzwerken auf benutzerdefinierten Video- und Audiodatensätzen. Das System nutzt eine Video-Vorverarbeitungspipeline, um Gesichtsdaten zu bereinigen, zu segmentieren und auszurichten. Es enthält ein visuelles Sync-Evaluierungstool, das Konfidenzwerte berechnet, um die Genauigkeit der Audio- und Videoausrichtung in generierten Videos zu messen. Das Projekt deckt Funktionen für die Entwicklung benutzerdefinierter Synchronisationsnetzwerke, die Verwaltung von Trainingskonfigurationen für Hardwarespeicher und Auflösung sowie die Evaluierung synthetischer Videos ab.
Implements conditioning that injects audio features and facial landmarks to guide the synthesis of synchronized lip movements.
Python - badtobest/echomimic
BadToBest/EchoMimic
4,258Auf GitHub ansehenEchoMimic is an audio-driven portrait animation framework and latent diffusion video generator. It transforms static reference images into dynamic talking head videos by synchronizing facial movements with audio tracks and motion drivers. The system functions as a hybrid motion synthesis engine that combines audio inputs and pose data. It utilizes a facial landmark motion controller to edit positioning markers, enabling precise synchronization and video-to-video pose transfer. The pipeline covers image-to-video animation through latent diffusion and facial landmark conditioning. This allows
Integrates audio signals and visual landmarks to condition the generation of facial movements.
Python
