Awesome GitHub RepositoriesVideo Generation Optimizations

LiveTalking is an interactive talking head engine and AI avatar management platform designed to synchronize synthetic speech with facial movements. It functions as a real-time orchestrator that connects large language models and text-to-speech services to neural-rendered digital humans. The project distinguishes itself through low-latency streaming capabilities and the ability to handle real-time conversational interruptions. It supports advanced audio-visual customization, including human voice cloning and the ability to drive avatar expressions using real-time webcam data. The platform cov

AniPortrait هو خط أنابيب لتوليف الفيديو بالذكاء الاصطناعي مصمم لإنشاء صور شخصية ناطقة واقعية ورسوم متحركة للوجه. يعمل كمولد للرؤوس المتحدثة ورسوم متحركة مدفوعة بالصوت تقوم بمزامنة حركات الشفاه، والتعبيرات، ووضعيات الرأس مع الكلام أو مصادر الفيديو المرجعية. يتضمن النظام أداة لنقل تعبيرات الوجه لإعادة تمثيل الحركات من فيديو مصدر على صورة مرجعية ثابتة. يستخدم نموذج انتشار كامن مع تكييف الصورة القائم على المرجع للحفاظ على الهوية البصرية والاتساق عبر الإطارات المولدة. يغطي خط الأنابيب تعيين الصوت إلى التعبير، والتحكم في الحركة الموجه بالوضعية، وتوليف الفيديو الواقعي. يدمج النظام زيادة دقة الإطارات (Upsampling) لتسريع عملية التوليد وتقليل وقت العرض الإجمالي.

LongCat-Video is a collection of specialized models for video synthesis, featuring a large language model based architecture for creating high-resolution videos from text, images, or existing sequences. It includes dedicated systems for text-to-video generation, image-to-video animation, and the creation of talking avatars. The project provides specific capabilities for extending the length of existing clips through a video continuation model that predicts subsequent frames. It also enables the synchronization of character lip movements with audio and text prompts to produce speaking videos.

Lingbot-world is an interactive world simulator and framework for generating high-fidelity video environments from text and image prompts. It functions as a video generation system designed to create controllable simulations for applications such as robotics learning and gaming. The project includes a video motion controller that directs camera and object movement using transformation matrices and action strings. It utilizes a quantized inference engine to reduce memory usage and accelerate the generation of video sequences. The system covers a range of optimization techniques, including fou