Awesome GitHub RepositoriesVideo Generation Optimizations

LiveTalking is an interactive talking head engine and AI avatar management platform designed to synchronize synthetic speech with facial movements. It functions as a real-time orchestrator that connects large language models and text-to-speech services to neural-rendered digital humans. The project distinguishes itself through low-latency streaming capabilities and the ability to handle real-time conversational interruptions. It supports advanced audio-visual customization, including human voice cloning and the ability to drive avatar expressions using real-time webcam data. The platform cov

AniPortrait este un pipeline de sinteză video AI conceput pentru a genera portrete vorbitoare fotorealiste și animații faciale. Funcționează ca un generator de talking head și animator bazat pe audio care sincronizează mișcările buzelor, expresiile și pozițiile capului cu surse de vorbire sau video de referință. Sistemul include un instrument de transfer al expresiilor faciale pentru reenactment-ul mișcărilor dintr-un video sursă pe o imagine de referință statică. Utilizează un model de difuzie latentă cu condiționare a imaginii bazată pe referință pentru a menține identitatea vizuală și consistența pe cadrele generate. Pipeline-ul acoperă maparea audio-la-expresie, controlul mișcării ghidat de poziție și sinteza video fotorealistă. Încorporează upsampling prin interpolarea cadrelor pentru a accelera procesul de generare și a reduce timpul total de randare.

LongCat-Video este o colecție de modele specializate pentru sinteza video, având o arhitectură bazată pe modele de limbaj mari (LLM) pentru crearea de videoclipuri de înaltă rezoluție din text, imagini sau secvențe existente. Include sisteme dedicate pentru generarea text-to-video, animația image-to-video și crearea de avatare vorbitoare. Proiectul oferă capabilități specifice pentru extinderea duratei clipurilor existente printr-un model de continuare video care prezice cadrele ulterioare. De asemenea, permite sincronizarea mișcărilor buzelor personajelor cu prompturi audio și text pentru a produce videoclipuri vorbite. Sistemul încorporează diverse tehnici de optimizare pentru a gestiona eficiența generării, inclusiv eșantionarea bazată pe distilare și cuantizarea pentru a reduce utilizarea memoriei și latența de inferență. Componentele structurale suplimentare acoperă compresia în spațiul latent și modelarea spațio-temporală pentru a menține consistența în timp și spațiu.

Lingbot-world is an interactive world simulator and framework for generating high-fidelity video environments from text and image prompts. It functions as a video generation system designed to create controllable simulations for applications such as robotics learning and gaming. The project includes a video motion controller that directs camera and object movement using transformation matrices and action strings. It utilizes a quantized inference engine to reduce memory usage and accelerate the generation of video sequences. The system covers a range of optimization techniques, including fou