Awesome GitHub RepositoriesVideo Sequence Preprocessing

LivePortrait is a deep learning framework for portrait animation that transfers facial expressions from a driving video to a static image. It functions as an AI motion retargeting tool, mapping movements between different identities while preserving the unique features of the source portrait. The system includes specialized capabilities for cross-species portrait animation, adapting human-centric models to non-human subjects and animals. It also features a motion template generator that converts driving videos into portable files to accelerate inference and protect the identity of the origina

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

LatentSync este un generator video audio-driven și un model de lip sync cu difuzie latentă, conceput pentru a sincroniza mișcările buzelor unui vorbitor într-un video cu o pistă audio țintă. Oferă un framework de antrenament pentru sincronizarea buzelor, pentru dezvoltarea rețelelor de sincronizare pe seturi de date video și audio personalizate. Sistemul utilizează un pipeline de preprocesare video pentru a curăța, segmenta și alinia datele faciale. Include un instrument de evaluare a sincronizării vizuale care calculează scoruri de încredere pentru a măsura acuratețea alinierii audio și vizuale în videoclipurile generate. Proiectul acoperă capabilități pentru dezvoltarea rețelelor de sincronizare personalizate, gestionarea configurației de antrenament pentru memoria hardware și rezoluție, precum și evaluarea video sintetică.

Acest proiect este o implementare PyTorch a rețelelor reziduale 3D concepute pentru recunoașterea acțiunilor video. Oferă o arhitectură spatiotemporală care analizează atât cadrele spațiale, cât și mișcarea temporală pentru a clasifica activitățile umane în clipurile video. Sistemul include un framework distribuit de antrenare a modelelor pentru a accelera învățarea pe mai multe noduri de calcul. Suportă implementarea și fine-tuning-ul ponderilor modelelor pre-antrenate, permițând adaptarea rețelelor existente la seturi de date noi specifice. Baza de cod acoperă întregul pipeline pentru învățarea spatiotemporală, inclusiv instrumente de preprocesare a seturilor de date video pentru convertirea fișierelor brute în secvențe de imagini, capabilități de inferență a acțiunilor și metrici pentru calcularea acurateței recunoașterii.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a