Awesome GitHub RepositoriesVideo Diffusion Models

AnimateAnyone is an appearance-preserving video synthesizer designed for character animation from a single static image. It functions as a diffusion image-to-video generator that transforms a source image into a high-fidelity video sequence while maintaining consistent character identity, clothing, and visual details across all frames. The system enables video-driven character reenactment by transferring motions, facial expressions, and body movements from a reference video onto a static character. It employs pose-guided video generation to control movement via skeleton keypoints and pose sig

Magic Animate is a diffusion model video generator designed for human image animation. It transforms a static human photo into a temporally consistent video by mapping movements from a reference motion clip, acting as a tool to create realistic animations from a single image. The system ensures visual stability and minimizes flicker through temporal attention injection and motion-controlled noise scheduling. To accelerate the generation of high-resolution video, it includes a distributed GPU inference engine that splits model workloads across multiple graphics cards. The project covers a com

Cosmos is an open platform of world models, datasets, and tools for building physical AI systems such as robots and autonomous vehicles. It provides video generation and video understanding models that can generate synthetic videos and world simulations from text, image, video, or action inputs, and analyze videos to produce captions, event timestamps, spatial bounding boxes, and next-action predictions. The platform includes a world simulation generator that produces images, videos, synchronized audio, and action-conditioned rollouts for synthetic data, alongside a visual content analyzer th

imaginAIry is a system for generating and refining images and videos using diffusion models. It operates as a web-based server that triggers generation requests through standard API calls, allowing for the creation of visuals and video sequences from text prompts or existing files. The project provides a suite for AI image editing and upscaling, enabling the modification of visuals through natural language instructions and super-resolution tools to increase detail and image size. The system includes capabilities for structural image control using depth maps, edge maps, and body poses to main

EMO ist ein KI-Porträt-Animator und Audio-zu-Video-Diffusionsmodell, das entwickelt wurde, um ausdrucksstarke Talking-Head-Videos zu generieren. Es verwandelt ein einzelnes statisches Porträtbild und eine Audiospur in ein synchronisiertes Video einer sprechenden Person. Das System konzentriert sich auf die Synthese digitaler Menschen und erzeugt hochauflösende Gesichtsbewegungen und emotionale Signale. Es synchronisiert Lippenbewegungen und Gesichtsausdrücke mit gesprochenen Sprachaufnahmen, um realistische Porträt-Animationen zu erstellen. Das Framework nutzt einen Diffusionsprozess und einen Cross-Modal-Alignment-Mechanismus, um das Timing zwischen Audiosignalen und visuellen Landmarks sicherzustellen. Es verwendet referenzbasierte Bildkonditionierung, um die Identitätskonsistenz zu wahren, sowie eine zeitliche Konsistenzschicht, um flüssige Bewegungen zwischen den Frames zu gewährleisten.

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

ToonCrafter is a model that combines latent diffusion, reference-based colorization, and sketch-guided control for cartoon animation and interpolation. It functions as a cartoon video interpolation model, a reference-based colorization model, and a sketch-guided animation tool, all built on a latent diffusion animation framework. The project distinguishes itself by integrating three core capabilities into a single pipeline: generating smooth intermediate frames between two cartoon images using diffusion-based priors, transferring color and style from a reference image onto black-and-white ske

Dieses Projekt ist eine Stable-Diffusion-WebUI-Erweiterung, die ein grafisches Interface für personalisierte Porträtgenerierung und KI-Fotobearbeitung bietet. Es ermöglicht Benutzern das Training benutzerdefinierter Identitätsmodelle aus einer kleinen Menge hochgeladener Bilder, um konsistente digitale Versionen spezifischer Personen zu erstellen. Die Erweiterung enthält ein virtuelles Anprobensystem, das Kleidung in Bildern durch Ausrichtung von Referenzkleidungsstücken an Template-Körpern ersetzt. Sie bietet zudem Tools für Face-Swapping in statischen Bildern und Videos sowie einen Porträt-Animator, der statische Bilder in dynamische Videos unter Verwendung referenzgesteuerter Bewegung und Textbeschreibungen umwandelt. Zusätzliche Funktionen decken die Manipulation von Gesichtsattributen zur Anpassung von Alter und Ausdruck, Multi-Person-Bildsynthese und die Generierung flüssiger Übergänge zwischen Bildern durch Latent-Space-Interpolation ab.

Videocrafter ist ein latentes Diffusionsmodell, das für die KI-Videosynthese entwickelt wurde. Es fungiert sowohl als Text-zu-Video- als auch als Bild-zu-Video-Generierungssystem, das hochwertige Videosequenzen aus beschreibenden Text-Prompts oder statischen Bildeingaben synthetisiert. Das Modell nutzt ein diffusionsbasiertes neuronales Netzwerk, um Eingaben in animierte Inhalte umzuwandeln, wobei visuelle Konsistenz und zeitliche Kohärenz über die generierten Sequenzen hinweg sichergestellt werden. Dies ermöglicht die Erstellung benutzerdefinierter Videoclips und die Animation statischer Bilder in flüssige Bewegungen.

EchoMimic V2 ist eine KI-Video-Generierungs-Pipeline und ein Computer-Vision-Animationsmodell, das darauf ausgelegt ist, synthetische menschliche Animationen zu produzieren. Es fungiert als generatives Framework, das Halbkörper-Videos erstellt, indem ein statisches Referenzbild mit Posenbewegungen abgeglichen wird, die aus einem treibenden Video extrahiert wurden. Das System nutzt einen diffusionsbasierten Generierungsprozess in Kombination mit latenter Raumkompression und einem temporalen Aufmerksamkeitsmechanismus, um flüssige Übergänge zwischen Frames zu gewährleisten. Es wahrt die konsistente Identität einer Person durch referenzbasiertes Encoding und steuert die räumliche Platzierung mittels posengesteuerter Bewegungskonditionierung. Das Projekt enthält Funktionen zur mehrstufigen Bildverfeinerung, um Gesichtsdetails und Schärfe zu verbessern. Zudem bietet es Tools zur Vorbereitung von Animationsdatensätzen, einschließlich des Herunterladens und der Vorverarbeitung von Videodaten in Formate, die für Modelltraining und Inferenz erforderlich sind.

LongCat-Video ist eine Sammlung spezialisierter Modelle für die Videosynthese, die auf einer Large-Language-Model-Architektur basiert, um hochauflösende Videos aus Text, Bildern oder bestehenden Sequenzen zu erstellen. Es enthält dedizierte Systeme für Text-to-Video-Generierung, Image-to-Video-Animation und die Erstellung sprechender Avatare. Das Projekt bietet spezifische Funktionen zur Verlängerung bestehender Clips durch ein Video-Continuation-Modell, das nachfolgende Frames vorhersagt. Es ermöglicht zudem die Synchronisation von Lippenbewegungen mit Audio- und Text-Prompts, um sprechende Videos zu produzieren. Das System integriert verschiedene Optimierungstechniken zur Steuerung der Generierungseffizienz, einschließlich destillationsbasiertem Sampling und Quantisierung, um Speicherverbrauch und Inferenzlatenz zu reduzieren. Zusätzliche strukturelle Komponenten decken die Kompression im latenten Raum und die räumlich-zeitliche Modellierung ab, um die Konsistenz über Zeit und Raum hinweg zu wahren.

HunyuanVideo-1.5 is a video generation foundation model and text-to-video diffusion framework. It utilizes a latent video diffusion model and a spatio-temporal transformer architecture to generate high-definition video sequences from text descriptions and images. The project enables cinematic camera control for directing pans and tilts and provides image-to-video animation capabilities. It supports visual style adaptation through low-rank adaptation tuning and uses a language model for prompt refinement to improve visual alignment. The model covers high-resolution video upscaling via a super

Tune-A-Video ist ein Text-zu-Video-Diffusionsframework, das entwickelt wurde, um vortrainierte Text-zu-Bild-Diffusionsmodelle in Videogeneratoren umzuwandeln. Es nutzt einen räumlich-zeitlichen Aufmerksamkeitsmechanismus und das Training mit einzelnen Text-Video-Paaren, um die Synthese bewegter Sequenzen aus Text-Prompts zu ermöglichen. Das Projekt bietet Tools für One-Shot-Videopersonalisierung, die es ermöglichen, ein Modell auf ein einzelnes Referenzvideo abzustimmen, um spezifische Charaktere oder künstlerische Stile über neue Generationen hinweg zu bewahren. Es fungiert zudem als Videoeditor, der Subjekte, Hintergründe und Stile durch Noise-Sampling-Prompt-Guidance und Inversion modifiziert. Das Framework deckt mehrere Kernfunktionsbereiche ab, einschließlich der Extraktion struktureller Führung zur Bewahrung des Layouts und der Bewegung von Quellvideos sowie räumlich-zeitlicher Inhaltskonsistenz, um visuelle Elemente über Frames hinweg stabil zu halten. Diese Prozesse ermöglichen eine personalisierte Videosynthese und die Modifikation visueller Inhalte durch geführtes Sampling.

EchoMimic is a multimodal human animation framework and diffusion-based video generator. It produces lifelike facial and semi-body animations of a reference image by synthesizing motion and appearance from various source data. The system enables portrait animation driven by audio, pose sequences, or driver videos. It features a landmark conditioning tool that allows for the precise control of facial movements by modifying specific landmark points. The framework covers multi-modal motion synthesis and the synchronization of reference images to match the physical movements of a target driver.

Champ is a generative vision system and controllable image-to-video generator designed for human image animation. It uses a diffusion-based video synthesizer and 3D parametric guidance to transform a single reference image into a consistent sequence of motion based on external driving data. The framework distinguishes itself through a human pose transfer system that employs 3D body parametric extraction and coordinate-space alignment. This allows the model to map motion from a driving video to a reference person by adjusting for body scales and camera perspectives using depth and semantic con

EchoMimic is an audio-driven portrait animation framework and latent diffusion video generator. It transforms static reference images into dynamic talking head videos by synchronizing facial movements with audio tracks and motion drivers. The system functions as a hybrid motion synthesis engine that combines audio inputs and pose data. It utilizes a facial landmark motion controller to edit positioning markers, enabling precise synchronization and video-to-video pose transfer. The pipeline covers image-to-video animation through latent diffusion and facial landmark conditioning. This allows

Text2Video-Zero is a text-to-video diffusion model and framework designed to synthesize temporally consistent video sequences from textual prompts. It functions as a zero-shot video generator, repurposing pre-trained image diffusion models to create video content without requiring additional training on video datasets. The system includes a conditional video synthesizer that allows for guided generation using depth, edge, or pose maps to control structural layout and movement. It also provides text-based video editing capabilities to modify the style or content of existing video clips through

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a

TurboDiffusion is a video diffusion inference engine and generator designed to create high-resolution videos from text prompts and images. It provides a runtime environment for executing optimized diffusion model checkpoints with a focus on reducing latency and GPU memory usage. The project features a specialized training framework for aligning sparse-linear attention models with pretrained full-attention models. This system includes capabilities for sparse attention parameter merging and sparse-linear model alignment to reduce computational costs during inference while maintaining output qua

Lingbot-world is an interactive world simulator and framework for generating high-fidelity video environments from text and image prompts. It functions as a video generation system designed to create controllable simulations for applications such as robotics learning and gaming. The project includes a video motion controller that directs camera and object movement using transformation matrices and action strings. It utilizes a quantized inference engine to reduce memory usage and accelerate the generation of video sequences. The system covers a range of optimization techniques, including fou