3 Repos
Awesome GitHub RepositoriesAudio Multi-Conditioning
Architectures that combine diverse inputs like text and melody to guide audio generation.
Distinct from Diffusion Conditioning Architectures: Specializes conditioning architectures for combined text and melodic audio inputs
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Audio Multi-Conditioning. Refine with filters or upvote what's useful.
Awesome Audio Multi-Conditioning GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- facebookresearch/audiocraft
facebookresearch/audiocraft
23,379Auf GitHub ansehenAudiocraft is a deep learning audio library and machine learning framework designed for training, fine-tuning, and evaluating generative models for music and sound effects. It functions as a text-to-music generative model and a neural audio codec, providing the tools necessary to compress audio signals into discrete representations and synthesize high-fidelity waveforms from textual descriptions. The framework is distinguished by its ability to combine multiple conditioning signals, allowing for the generation of audio based on text prompts, melodic excerpts, or style-based audio clips. It al
Combines textual prompts and melodic excerpts into a shared embedding space to guide the generative process.
Jupyter Notebook - bytedance/latentsync
bytedance/LatentSync
5,806Auf GitHub ansehenLatentSync ist ein audio-gesteuerter Videogenerator und ein Latent-Diffusion-Lip-Sync-Modell, das darauf ausgelegt ist, die Lippenbewegungen eines Sprechers in einem Video mit einer Ziel-Audiospur zu synchronisieren. Es bietet ein Lip-Sync-Trainings-Framework zur Entwicklung von Synchronisationsnetzwerken auf benutzerdefinierten Video- und Audiodatensätzen. Das System nutzt eine Video-Vorverarbeitungspipeline, um Gesichtsdaten zu bereinigen, zu segmentieren und auszurichten. Es enthält ein visuelles Sync-Evaluierungstool, das Konfidenzwerte berechnet, um die Genauigkeit der Audio- und Videoausrichtung in generierten Videos zu messen. Das Projekt deckt Funktionen für die Entwicklung benutzerdefinierter Synchronisationsnetzwerke, die Verwaltung von Trainingskonfigurationen für Hardwarespeicher und Auflösung sowie die Evaluierung synthetischer Videos ab.
Implements conditioning that injects audio features and facial landmarks to guide the synthesis of synchronized lip movements.
Python - badtobest/echomimic
BadToBest/EchoMimic
4,258Auf GitHub ansehenEchoMimic is an audio-driven portrait animation framework and latent diffusion video generator. It transforms static reference images into dynamic talking head videos by synchronizing facial movements with audio tracks and motion drivers. The system functions as a hybrid motion synthesis engine that combines audio inputs and pose data. It utilizes a facial landmark motion controller to edit positioning markers, enabling precise synchronization and video-to-video pose transfer. The pipeline covers image-to-video animation through latent diffusion and facial landmark conditioning. This allows
Integrates audio signals and visual landmarks to condition the generation of facial movements.
Python
