Awesome GitHub RepositoriesVideo Diffusion Models

AnimateAnyone is an appearance-preserving video synthesizer designed for character animation from a single static image. It functions as a diffusion image-to-video generator that transforms a source image into a high-fidelity video sequence while maintaining consistent character identity, clothing, and visual details across all frames. The system enables video-driven character reenactment by transferring motions, facial expressions, and body movements from a reference video onto a static character. It employs pose-guided video generation to control movement via skeleton keypoints and pose sig

Magic Animate is a diffusion model video generator designed for human image animation. It transforms a static human photo into a temporally consistent video by mapping movements from a reference motion clip, acting as a tool to create realistic animations from a single image. The system ensures visual stability and minimizes flicker through temporal attention injection and motion-controlled noise scheduling. To accelerate the generation of high-resolution video, it includes a distributed GPU inference engine that splits model workloads across multiple graphics cards. The project covers a com

Cosmos is an open platform of world models, datasets, and tools for building physical AI systems such as robots and autonomous vehicles. It provides video generation and video understanding models that can generate synthetic videos and world simulations from text, image, video, or action inputs, and analyze videos to produce captions, event timestamps, spatial bounding boxes, and next-action predictions. The platform includes a world simulation generator that produces images, videos, synchronized audio, and action-conditioned rollouts for synthetic data, alongside a visual content analyzer th

imaginAIry is a system for generating and refining images and videos using diffusion models. It operates as a web-based server that triggers generation requests through standard API calls, allowing for the creation of visuals and video sequences from text prompts or existing files. The project provides a suite for AI image editing and upscaling, enabling the modification of visuals through natural language instructions and super-resolution tools to increase detail and image size. The system includes capabilities for structural image control using depth maps, edge maps, and body poses to main

EMO este un model de animație a portretelor AI și de difuzie audio-video conceput pentru a genera videoclipuri expresive cu capete vorbitoare. Acesta transformă o singură imagine statică de portret și o pistă audio într-un videoclip sincronizat al unei persoane care vorbește. Sistemul se concentrează pe sinteza digitală a oamenilor, producând mișcări faciale de înaltă fidelitate și indicii emoționale. Sincronizează mișcările buzelor și gesturile faciale cu înregistrările vocale pentru a crea animații realiste ale portretelor. Framework-ul utilizează un proces de difuzie și un mecanism de aliniere cross-modal pentru a asigura sincronizarea între semnalele audio și punctele de reper vizuale. Utilizează condiționarea imaginii bazată pe referință pentru a menține consistența identității și un strat de consistență temporală pentru a asigura o mișcare fluidă între cadre.

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

ToonCrafter is a model that combines latent diffusion, reference-based colorization, and sketch-guided control for cartoon animation and interpolation. It functions as a cartoon video interpolation model, a reference-based colorization model, and a sketch-guided animation tool, all built on a latent diffusion animation framework. The project distinguishes itself by integrating three core capabilities into a single pipeline: generating smooth intermediate frames between two cartoon images using diffusion-based priors, transferring color and style from a reference image onto black-and-white ske

Acest proiect este o extensie Stable Diffusion WebUI care oferă o interfață grafică pentru generarea de portrete personalizate și editarea foto cu AI. Permite utilizatorilor să antreneze modele de identitate personalizate dintr-un set mic de imagini încărcate pentru a crea versiuni digitale consistente ale unor persoane specifice. Extensia include un sistem de probă virtuală (virtual try-on) care înlocuiește îmbrăcămintea din imagini prin alinierea articolelor de referință cu corpurile din template-uri. De asemenea, dispune de instrumente pentru schimbarea feței (face swapping) atât în imagini statice, cât și în videoclipuri, precum și un animator de portrete care transformă imaginile statice în videoclipuri dinamice folosind mișcare ghidată de referință și descrieri text. Capabilitățile suplimentare acoperă manipularea atributelor faciale pentru ajustarea vârstei și a expresiei, sinteza de imagini cu mai multe persoane și generarea de tranziții line între imagini prin interpolare în spațiul latent.

Videocrafter este un model de difuzie latentă conceput pentru sinteza video AI. Acesta funcționează atât ca un sistem de generare text-to-video, cât și image-to-video, sintetizând secvențe video de înaltă calitate din prompt-uri text descriptive sau input-uri de imagini statice. Modelul utilizează o rețea neuronală bazată pe difuzie pentru a transforma input-urile în conținut animat, asigurând consistența vizuală și coerența temporală pe parcursul secvențelor generate. Acest lucru permite crearea de clipuri video personalizate și animarea imaginilor statice în mișcare fluidă.

EchoMimic V2 este un pipeline de generare video AI și un model de animație computer vision conceput pentru a produce animații umane sintetice. Funcționează ca un framework generativ care creează videoclipuri semi-corp prin alinierea unei imagini de referință statice cu mișcările de postură extrase dintr-un videoclip de conducere (driving video). Sistemul utilizează un proces de generare bazat pe difuzie combinat cu compresia spațiului latent și un mecanism de atenție temporală pentru a asigura tranziții line între cadre. Menține identitatea consistentă a persoanei prin codificare bazată pe referință și ghidează plasarea spațială prin condiționarea mișcării bazată pe postură. Proiectul include capabilități pentru rafinarea imaginilor în mai multe etape pentru a îmbunătăți detaliile faciale și claritatea. Oferă, de asemenea, instrumente pentru pregătirea seturilor de date de animație, inclusiv descărcarea și preprocesarea datelor video în formatele necesare pentru antrenarea modelului și inferență.

LongCat-Video este o colecție de modele specializate pentru sinteza video, având o arhitectură bazată pe modele de limbaj mari (LLM) pentru crearea de videoclipuri de înaltă rezoluție din text, imagini sau secvențe existente. Include sisteme dedicate pentru generarea text-to-video, animația image-to-video și crearea de avatare vorbitoare. Proiectul oferă capabilități specifice pentru extinderea duratei clipurilor existente printr-un model de continuare video care prezice cadrele ulterioare. De asemenea, permite sincronizarea mișcărilor buzelor personajelor cu prompturi audio și text pentru a produce videoclipuri vorbite. Sistemul încorporează diverse tehnici de optimizare pentru a gestiona eficiența generării, inclusiv eșantionarea bazată pe distilare și cuantizarea pentru a reduce utilizarea memoriei și latența de inferență. Componentele structurale suplimentare acoperă compresia în spațiul latent și modelarea spațio-temporală pentru a menține consistența în timp și spațiu.

HunyuanVideo-1.5 is a video generation foundation model and text-to-video diffusion framework. It utilizes a latent video diffusion model and a spatio-temporal transformer architecture to generate high-definition video sequences from text descriptions and images. The project enables cinematic camera control for directing pans and tilts and provides image-to-video animation capabilities. It supports visual style adaptation through low-rank adaptation tuning and uses a language model for prompt refinement to improve visual alignment. The model covers high-resolution video upscaling via a super

Tune-A-Video este un framework de difuzie text-to-video conceput pentru a converti modelele de difuzie text-to-image pre-antrenate în generatoare video. Utilizează un mecanism de atenție spatio-temporală și antrenament pe o singură pereche text-video pentru a permite sinteza secvențelor în mișcare din prompt-uri text. Proiectul oferă instrumente pentru personalizarea video one-shot, permițând unui model să fie reglat pe un singur videoclip de referință pentru a păstra personaje specifice sau stiluri artistice în noile generații. De asemenea, funcționează ca un editor video care modifică subiecții, fundalurile și stilurile prin ghidarea prompt-ului de eșantionare a zgomotului și inversiune. Framework-ul acoperă mai multe zone de capabilitate de bază, inclusiv extracția ghidării structurale pentru a păstra layout-ul și mișcarea videoclipurilor sursă și consistența conținutului spatio-temporal pentru a menține elementele vizuale stabile între cadre. Aceste procese permit sinteza video personalizată și modificarea conținutului vizual prin eșantionare ghidată.

EchoMimic este un framework multimodal de animație umană și un generator video bazat pe difuzie. Acesta produce animații faciale și semi-corporale realiste ale unei imagini de referință prin sintetizarea mișcării și aspectului din diverse date sursă. Sistemul permite animația portretelor condusă de audio, secvențe de postură sau videoclipuri driver. Dispune de un instrument de condiționare a punctelor de reper care permite controlul precis al mișcărilor faciale prin modificarea unor puncte de reper specifice. Framework-ul acoperă sinteza mișcării multimodale și sincronizarea imaginilor de referință pentru a se potrivi cu mișcările fizice ale unui driver țintă. Aceasta include capacitatea de a transforma semnalele audio în parametri de postură facială pentru a conduce cadrele video generate.

Champ este un sistem de viziune generativă și un generator imagine-la-video controlabil conceput pentru animația imaginilor umane. Acesta utilizează un sintetizator video bazat pe difuzie și ghidare parametrică 3D pentru a transforma o singură imagine de referință într-o secvență consistentă de mișcare bazată pe date de conducere externe. Framework-ul se distinge printr-un sistem de transfer al posturii umane care utilizează extracția parametrică a corpului 3D și alinierea în spațiul de coordonate. Acest lucru permite modelului să mapeze mișcarea de la un videoclip de conducere la o persoană de referință prin ajustarea pentru scările corpului și perspectivele camerei folosind hărți de adâncime și condiții semantice. Sistemul acoperă o gamă largă de capabilități, inclusiv rafinarea datelor de mișcare, transferul parametric de mișcare și o conductă de antrenare a modelului de viziune în două etape. Aceste procese asigură consistența structurală și stabilitatea temporală în animațiile umane generate.

Text2Video-Zero este un model de difuzie text-to-video și un framework conceput pentru a sintetiza secvențe video temporal consistente din prompt-uri textuale. Funcționează ca un generator video zero-shot, reutilizând modelele de difuzie de imagine pre-antrenate pentru a crea conținut video fără a necesita antrenament suplimentar pe seturi de date video. Sistemul include un sintetizator video condițional care permite generarea ghidată folosind hărți de adâncime, margini sau postură pentru a controla layout-ul structural și mișcarea. De asemenea, oferă capabilități de editare video bazate pe text pentru a modifica stilul sau conținutul clipurilor video existente prin instrucțiuni în limbaj natural. Pentru a gestiona cerințele computaționale, proiectul implementează inferența optimizată pentru memoria GPU. Acest lucru este realizat prin tehnici precum token merging și frame chunking pentru a reduce utilizarea VRAM în timpul procesului de generare.

EchoMimic este un framework de animație a portretelor bazat pe audio și un generator video de difuzie latentă. Acesta transformă imaginile de referință statice în videoclipuri dinamice cu capete vorbitoare prin sincronizarea mișcărilor faciale cu piesele audio și driverele de mișcare. Sistemul funcționează ca un motor hibrid de sinteză a mișcării care combină input-urile audio și datele de postură. Utilizează un controler de mișcare a punctelor de reper faciale pentru a edita markerii de poziționare, permițând sincronizarea precisă și transferul de postură video-la-video. Conducta acoperă animația imagine-la-video prin difuzie latentă și condiționarea punctelor de reper faciale. Acest lucru permite animația portretelor condusă de audio, postură sau o combinație a ambelor surse de ghidare.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a

TurboDiffusion is a video diffusion inference engine and generator designed to create high-resolution videos from text prompts and images. It provides a runtime environment for executing optimized diffusion model checkpoints with a focus on reducing latency and GPU memory usage. The project features a specialized training framework for aligning sparse-linear attention models with pretrained full-attention models. This system includes capabilities for sparse attention parameter merging and sparse-linear model alignment to reduce computational costs during inference while maintaining output qua

Lingbot-world is an interactive world simulator and framework for generating high-fidelity video environments from text and image prompts. It functions as a video generation system designed to create controllable simulations for applications such as robotics learning and gaming. The project includes a video motion controller that directs camera and object movement using transformation matrices and action strings. It utilizes a quantized inference engine to reduce memory usage and accelerate the generation of video sequences. The system covers a range of optimization techniques, including fou