Awesome GitHub RepositoriesDiffusion Model Distillation

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

本项目是一个用于训练一致性模型 (consistency models) 和执行扩散模型蒸馏的框架。它作为一个少步文本转图像生成器和图像转图像转换工具，旨在从文本提示或现有图像中生成高分辨率视觉效果。 该系统专注于将预训练的扩散模型转换为一致性模型，以减少所需的推理步数。它支持训练轻量级模型适配器，将特定的视觉风格注入大型模型，而无需进行全网络微调。 该项目涵盖了图像合成的广泛功能，包括文本转图像和图像转图像生成。它提供了用于模型适配、潜在扩散模型蒸馏以及创建保留原始结构组成的图像变体的工具。

LongCat-Video 是一系列专门用于视频合成的模型集合，采用基于大语言模型的架构，用于从文本、图像或现有序列创建高分辨率视频。它包括用于文本生成视频、图像生成视频动画以及创建数字人头像的专用系统。 该项目提供了通过视频延续模型延长现有剪辑长度的特定功能，该模型可以预测后续帧。它还支持将角色口型与音频和文本提示同步，以制作说话视频。 该系统结合了多种优化技术来管理生成效率，包括基于蒸馏的采样和量化，以减少内存使用和推理延迟。其他结构组件涵盖了潜在空间压缩和时空建模，以保持跨时间和空间的连贯性。

HunyuanDiT 是一个双语文本到图像生成模型和扩散 Transformer 图像生成器。它使用潜在扩散系统从文本提示中合成高分辨率图像，特别侧重于理解和生成来自中文和英文描述的内容。 该项目具有多分辨率 Transformer 架构和双语嵌入空间，可将不同的脚本映射到共享的语义区域。它支持迭代式多轮图像细化，将对话转换为更新后的提示，以逐步修改视觉内容。 该系统包括自动图像标注、用于布局控制的结构化图像约束，以及模型权重微调功能，以使生成器适应特定的数据集或艺术风格。性能优化包括用于推理加速的模型蒸馏，以及对低显存硬件上执行的支持。

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a