1 repository
Cleaning and segmenting video files specifically to isolate and align facial features for AI training.
Distinct from Video Sequence Preprocessing: Specializes video sequence preprocessing by focusing on face alignment and quality filtering.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Face-Centric Video Cleaning. Refine with filters or upvote what's useful.
LatentSync este un generator video audio-driven și un model de lip sync cu difuzie latentă, conceput pentru a sincroniza mișcările buzelor unui vorbitor într-un video cu o pistă audio țintă. Oferă un framework de antrenament pentru sincronizarea buzelor, pentru dezvoltarea rețelelor de sincronizare pe seturi de date video și audio personalizate. Sistemul utilizează un pipeline de preprocesare video pentru a curăța, segmenta și alinia datele faciale. Include un instrument de evaluare a sincronizării vizuale care calculează scoruri de încredere pentru a măsura acuratețea alinierii audio și vizuale în videoclipurile generate. Proiectul acoperă capabilități pentru dezvoltarea rețelelor de sincronizare personalizate, gestionarea configurației de antrenament pentru memoria hardware și rezoluție, precum și evaluarea video sintetică.
Cleans and segments video files by aligning faces and filtering for quality before training synchronization models.