Awesome GitHub RepositoriesDiffusion Model Distillation

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

Ce projet est un framework pour entraîner des modèles de cohérence et effectuer la distillation de modèles de diffusion. Il fonctionne comme un générateur texte-vers-image en quelques étapes et un outil de transformation image-vers-image conçu pour produire des visuels haute résolution à partir de prompts textuels ou d'images existantes. Le système se concentre sur la conversion de modèles de diffusion pré-entraînés en modèles de cohérence pour réduire le nombre d'étapes d'inférence requises. Il permet l'entraînement d'adaptateurs de modèles légers pour injecter des styles visuels spécifiques dans de grands modèles sans nécessiter un fine-tuning complet du réseau. Le projet couvre de larges capacités en synthèse d'image, incluant la génération texte-vers-image et image-vers-image. Il fournit des outils pour l'adaptation de modèles, la distillation de modèles de diffusion latente et la création de variations d'images qui préservent la composition structurelle originale.

LongCat-Video est une collection de modèles spécialisés pour la synthèse vidéo, dotée d'une architecture basée sur un grand modèle de langage pour créer des vidéos haute résolution à partir de textes, d'images ou de séquences existantes. Il inclut des systèmes dédiés pour la génération texte-vers-vidéo, l'animation image-vers-vidéo et la création d'avatars parlants. Le projet fournit des capacités spécifiques pour étendre la durée des clips existants via un modèle de continuation vidéo qui prédit les images suivantes. Il permet également la synchronisation des mouvements des lèvres des personnages avec des invites audio et textuelles pour produire des vidéos parlantes. Le système intègre diverses techniques d'optimisation pour gérer l'efficacité de la génération, incluant l'échantillonnage par distillation et la quantification pour réduire l'utilisation de la mémoire et la latence d'inférence. Des composants structurels supplémentaires couvrent la compression dans l'espace latent et la modélisation spatio-temporelle pour maintenir la cohérence à travers le temps et l'espace.

HunyuanDiT est un modèle génératif texte-image bilingue et un générateur d'images par transformateur de diffusion. Il utilise un système de diffusion latente pour synthétiser des images haute résolution à partir d'invites textuelles, avec un accent particulier sur la compréhension et la génération de contenu à partir de descriptions en chinois et en anglais. Le projet présente une architecture de transformateur multi-résolution et un espace d'embedding bilingue pour mapper différentes écritures dans un espace sémantique partagé. Il prend en charge le raffinement d'image itératif multi-tours, qui traduit le dialogue conversationnel en invites mises à jour pour modifier progressivement le contenu visuel. Le système inclut des capacités pour le sous-titrage automatique d'images, des contraintes structurelles d'image pour le contrôle de la mise en page, et le réglage fin (fine-tuning) des poids du modèle pour adapter le générateur à des jeux de données ou des styles artistiques spécifiques. Les optimisations de performance incluent la distillation de modèle pour l'accélération de l'inférence et la prise en charge de l'exécution sur du matériel avec une faible mémoire vidéo.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a