Awesome GitHub RepositoriesDiffusion Model Distillation

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

Dieses Projekt ist ein Framework für das Training von Consistency-Modellen und die Destillation von Diffusionsmodellen. Es fungiert als Few-Step-Text-to-Image-Generator und als Image-to-Image-Transformationstool, das darauf ausgelegt ist, hochauflösende Visualisierungen aus Text-Prompts oder vorhandenen Bildern zu erzeugen. Das System konzentriert sich auf die Konvertierung vortrainierter Diffusionsmodelle in Consistency-Modelle, um die Anzahl der erforderlichen Inferenzschritte zu reduzieren. Es ermöglicht das Training leichtgewichtiger Modell-Adaptoren, um spezifische visuelle Stile in große Modelle zu injizieren, ohne ein vollständiges Netzwerk-Fine-Tuning zu erfordern. Das Projekt deckt breite Funktionen in der Bildsynthese ab, einschließlich Text-to-Image- und Image-to-Image-Generierung. Es bietet Tools für Modelladaption, Latent-Diffusion-Modell-Destillation und die Erstellung von Bildvariationen, die die ursprüngliche strukturelle Komposition bewahren.

LongCat-Video ist eine Sammlung spezialisierter Modelle für die Videosynthese, die auf einer Large-Language-Model-Architektur basiert, um hochauflösende Videos aus Text, Bildern oder bestehenden Sequenzen zu erstellen. Es enthält dedizierte Systeme für Text-to-Video-Generierung, Image-to-Video-Animation und die Erstellung sprechender Avatare. Das Projekt bietet spezifische Funktionen zur Verlängerung bestehender Clips durch ein Video-Continuation-Modell, das nachfolgende Frames vorhersagt. Es ermöglicht zudem die Synchronisation von Lippenbewegungen mit Audio- und Text-Prompts, um sprechende Videos zu produzieren. Das System integriert verschiedene Optimierungstechniken zur Steuerung der Generierungseffizienz, einschließlich destillationsbasiertem Sampling und Quantisierung, um Speicherverbrauch und Inferenzlatenz zu reduzieren. Zusätzliche strukturelle Komponenten decken die Kompression im latenten Raum und die räumlich-zeitliche Modellierung ab, um die Konsistenz über Zeit und Raum hinweg zu wahren.

HunyuanDiT ist ein zweisprachiges Text-zu-Bild-Generativmodell und ein Diffusions-Transformer-Bildgenerator. Es verwendet ein latentes Diffusionssystem, um hochauflösende Bilder aus Text-Prompts zu synthetisieren, mit einem besonderen Fokus auf das Verständnis und die Generierung von Inhalten aus chinesischen und englischen Beschreibungen. Das Projekt zeichnet sich durch eine Multi-Resolution-Transformer-Architektur und einen zweisprachigen Embedding-Raum aus, um verschiedene Schriften in einen gemeinsamen semantischen Bereich abzubilden. Es unterstützt iterative, mehrstufige Bildverfeinerungen, bei denen Konversationsdialoge in aktualisierte Prompts übersetzt werden, um visuelle Inhalte schrittweise zu modifizieren. Das System umfasst Funktionen für automatisierte Bildbeschriftungen, strukturelle Bildvorgaben zur Layout-Kontrolle sowie das Fine-Tuning von Modellgewichten, um den Generator an spezifische Datensätze oder künstlerische Stile anzupassen. Performance-Optimierungen beinhalten Model-Distillation zur Beschleunigung der Inferenz sowie Unterstützung für die Ausführung auf Hardware mit geringem Videospeicher.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a