Awesome GitHub RepositoriesDiffusion Model Distillation

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

This project is a framework for training consistency models and performing diffusion model distillation. It functions as a few-step text-to-image generator and an image-to-image transformation tool designed to produce high-resolution visuals from text prompts or existing images. The system focuses on converting pre-trained diffusion models into consistency models to reduce the number of required inference steps. It enables the training of lightweight model adaptors to inject specific visual styles into large models without requiring full network fine-tuning. The project covers broad capabili

LongCat-Video es una colección de modelos especializados para síntesis de video, que cuenta con una arquitectura basada en modelos de lenguaje grandes para crear videos de alta resolución a partir de texto, imágenes o secuencias existentes. Incluye sistemas dedicados para la generación de texto a video, animación de imagen a video y la creación de avatares parlantes. El proyecto proporciona capacidades específicas para extender la duración de clips existentes a través de un modelo de continuación de video que predice los fotogramas subsiguientes. También permite la sincronización de los movimientos labiales de los personajes con audio y prompts de texto para producir videos hablados. El sistema incorpora varias técnicas de optimización para gestionar la eficiencia de la generación, incluyendo muestreo basado en destilación y cuantización para reducir el uso de memoria y la latencia de inferencia. Los componentes estructurales adicionales cubren la compresión en el espacio latente y el modelado espacio-temporal para mantener la consistencia a través del tiempo y el espacio.

HunyuanDiT es un modelo generativo bilingüe de texto a imagen y un generador de imágenes de transformador de difusión. Utiliza un sistema de difusión latente para sintetizar imágenes de alta resolución a partir de prompts de texto, con un enfoque específico en la comprensión y generación de contenido a partir de descripciones en chino e inglés. El proyecto presenta una arquitectura de transformador de resolución múltiple y un espacio de incrustación bilingüe para mapear diferentes scripts en un área semántica compartida. Admite el refinamiento iterativo de imágenes en múltiples turnos, lo que traduce el diálogo conversacional en prompts actualizados para modificar progresivamente el contenido visual. El sistema incluye capacidades para el subtitulado automático de imágenes, restricciones estructurales de imagen para el control del diseño y ajuste fino de los pesos del modelo para adaptar el generador a conjuntos de datos o estilos artísticos específicos. Las optimizaciones de rendimiento incluyen la destilación del modelo para la aceleración de la inferencia y el soporte para la ejecución en hardware con poca memoria de video.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a