Awesome GitHub RepositoriesTemporal Sequence Extension

CogVideo is a generative video framework that uses diffusion models and transformer-based architectures to synthesize high-resolution video clips. It functions as both a text-to-video and image-to-video generator, converting textual descriptions or static images into temporal visual sequences. The system integrates large language model capabilities to expand short user prompts into detailed descriptions for better visual alignment. It supports the animation of static images through latent seeding and provides the ability to extend the length of existing video sequences. The project includes

LongCat-Video este o colecție de modele specializate pentru sinteza video, având o arhitectură bazată pe modele de limbaj mari (LLM) pentru crearea de videoclipuri de înaltă rezoluție din text, imagini sau secvențe existente. Include sisteme dedicate pentru generarea text-to-video, animația image-to-video și crearea de avatare vorbitoare. Proiectul oferă capabilități specifice pentru extinderea duratei clipurilor existente printr-un model de continuare video care prezice cadrele ulterioare. De asemenea, permite sincronizarea mișcărilor buzelor personajelor cu prompturi audio și text pentru a produce videoclipuri vorbite. Sistemul încorporează diverse tehnici de optimizare pentru a gestiona eficiența generării, inclusiv eșantionarea bazată pe distilare și cuantizarea pentru a reduce utilizarea memoriei și latența de inferență. Componentele structurale suplimentare acoperă compresia în spațiul latent și modelarea spațio-temporală pentru a menține consistența în timp și spațiu.