Awesome GitHub RepositoriesInference Speed Optimization

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

LongCat-Video est une collection de modèles spécialisés pour la synthèse vidéo, dotée d'une architecture basée sur un grand modèle de langage pour créer des vidéos haute résolution à partir de textes, d'images ou de séquences existantes. Il inclut des systèmes dédiés pour la génération texte-vers-vidéo, l'animation image-vers-vidéo et la création d'avatars parlants. Le projet fournit des capacités spécifiques pour étendre la durée des clips existants via un modèle de continuation vidéo qui prédit les images suivantes. Il permet également la synchronisation des mouvements des lèvres des personnages avec des invites audio et textuelles pour produire des vidéos parlantes. Le système intègre diverses techniques d'optimisation pour gérer l'efficacité de la génération, incluant l'échantillonnage par distillation et la quantification pour réduire l'utilisation de la mémoire et la latence d'inférence. Des composants structurels supplémentaires couvrent la compression dans l'espace latent et la modélisation spatio-temporelle pour maintenir la cohérence à travers le temps et l'espace.