Awesome GitHub RepositoriesReference-Driven Synthesis

MockingBird is an AI voice cloning tool and text-to-speech system designed to generate synthetic speech. It functions as a voice synthesis trainer for building custom models from audio datasets, a command-line generator for producing audio files, and a text-to-speech server for remote application integration. The project specializes in real-time voice cloning, which extracts vocal characteristics from short audio samples to mimic a target speaker's unique timbre. It utilizes reference-driven audio synthesis to condition pre-trained models on specific audio samples, allowing for the generation

AudioGPT is an LLM-driven audio framework and processing suite that uses large language models to orchestrate neural audio pipelines. It functions as a multimodal audio generator and processing system, integrating a collection of pretrained models to handle speech synthesis, sound generation, and audio manipulation. The system is distinguished by its ability to generate audio from diverse inputs, including text and images, and its capacity to produce synchronized talking head videos. It also operates as a neural speech translator, converting spoken language between different tongues while pre

ChatTTS-ui este o interfață web și un wrapper API pentru modelul ChatTTS, conceput pentru a converti textul scris și input-ul mixt de limbaj în audio vorbit. Acesta funcționează ca un tablou de bord pentru sinteza vocală AI și un generator programabil pentru crearea de output vocal natural. Proiectul se concentrează pe profilarea vocală personalizată și controlul nuanțelor vorbirii. Permite menținerea unor caracteristici vocale consistente folosind valori seed și fișiere de date, oferind în același timp controale pentru ton, râs și pauze prin prompturi comportamentale și parametri de eșantionare. Sistemul include o arhitectură client-server care gestionează procesarea audio asincronă și oferă o interfață programabilă pentru integrarea în aplicații externe. Gestionează profilurile vocale și configurațiile audio printr-o interfață cu stare gestionată pentru a asigura o sinteză consistentă.

ACE-Step is a high-fidelity audio synthesis system and diffusion model designed to generate music and vocals from text descriptions. It functions as a music generator and vocal synthesizer, using a diffusion transformer decoder to produce audio across various languages and genres. The project provides tools for text-guided audio editing, including the ability to extend the duration of tracks, regenerate specific song segments, and perform latent-space audio inpainting to modify lyrics or styles. It also includes a framework for audio style fine-tuning using low-rank adaptation to adapt vocal