Awesome GitHub RepositoriesPose Conditioning

AnimateAnyone is an appearance-preserving video synthesizer designed for character animation from a single static image. It functions as a diffusion image-to-video generator that transforms a source image into a high-fidelity video sequence while maintaining consistent character identity, clothing, and visual details across all frames. The system enables video-driven character reenactment by transferring motions, facial expressions, and body movements from a reference video onto a static character. It employs pose-guided video generation to control movement via skeleton keypoints and pose sig

EchoMimic V2 este un pipeline de generare video AI și un model de animație computer vision conceput pentru a produce animații umane sintetice. Funcționează ca un framework generativ care creează videoclipuri semi-corp prin alinierea unei imagini de referință statice cu mișcările de postură extrase dintr-un videoclip de conducere (driving video). Sistemul utilizează un proces de generare bazat pe difuzie combinat cu compresia spațiului latent și un mecanism de atenție temporală pentru a asigura tranziții line între cadre. Menține identitatea consistentă a persoanei prin codificare bazată pe referință și ghidează plasarea spațială prin condiționarea mișcării bazată pe postură. Proiectul include capabilități pentru rafinarea imaginilor în mai multe etape pentru a îmbunătăți detaliile faciale și claritatea. Oferă, de asemenea, instrumente pentru pregătirea seturilor de date de animație, inclusiv descărcarea și preprocesarea datelor video în formatele necesare pentru antrenarea modelului și inferență.

Champ este un sistem de viziune generativă și un generator imagine-la-video controlabil conceput pentru animația imaginilor umane. Acesta utilizează un sintetizator video bazat pe difuzie și ghidare parametrică 3D pentru a transforma o singură imagine de referință într-o secvență consistentă de mișcare bazată pe date de conducere externe. Framework-ul se distinge printr-un sistem de transfer al posturii umane care utilizează extracția parametrică a corpului 3D și alinierea în spațiul de coordonate. Acest lucru permite modelului să mapeze mișcarea de la un videoclip de conducere la o persoană de referință prin ajustarea pentru scările corpului și perspectivele camerei folosind hărți de adâncime și condiții semantice. Sistemul acoperă o gamă largă de capabilități, inclusiv rafinarea datelor de mișcare, transferul parametric de mișcare și o conductă de antrenare a modelului de viziune în două etape. Aceste procese asigură consistența structurală și stabilitatea temporală în animațiile umane generate.

ComfyUI-LTXVideo is a generative framework and ComfyUI custom node extension for synthesizing high-fidelity video. It utilizes a latent diffusion and transformer-based system to create cinematic clips from text, image, and audio inputs, providing a modular interface for precise control over subject behavior and temporal consistency. The tool distinguishes itself with production-grade capabilities, including the generation of High Dynamic Range video in linear formats such as ARRI LogC3. It supports multimodal synchronization for audio-driven animation and lip-syncing, and allows for the creat