Awesome GitHub RepositoriesReference-Driven Synthesis

MockingBird is an AI voice cloning tool and text-to-speech system designed to generate synthetic speech. It functions as a voice synthesis trainer for building custom models from audio datasets, a command-line generator for producing audio files, and a text-to-speech server for remote application integration. The project specializes in real-time voice cloning, which extracts vocal characteristics from short audio samples to mimic a target speaker's unique timbre. It utilizes reference-driven audio synthesis to condition pre-trained models on specific audio samples, allowing for the generation

AudioGPT is an LLM-driven audio framework and processing suite that uses large language models to orchestrate neural audio pipelines. It functions as a multimodal audio generator and processing system, integrating a collection of pretrained models to handle speech synthesis, sound generation, and audio manipulation. The system is distinguished by its ability to generate audio from diverse inputs, including text and images, and its capacity to produce synchronized talking head videos. It also operates as a neural speech translator, converting spoken language between different tongues while pre

ChatTTS-ui هو واجهة ويب وغلاف لواجهة برمجة التطبيقات (API) لنموذج ChatTTS، مصمم لتحويل النصوص المكتوبة والمدخلات متعددة اللغات إلى صوت مسموع. يعمل كلوحة تحكم لتوليد الكلام بالذكاء الاصطناعي ومولد برمجي لإنشاء مخرجات صوتية طبيعية. يركز المشروع على تخصيص ملفات تعريف الصوت والتحكم في فروق الكلام الدقيقة. يسمح بالحفاظ على خصائص متحدث متسقة باستخدام قيم البذور (Seeds) وملفات البيانات، مع توفير عناصر تحكم في النبرة والضحك والتوقفات من خلال مطالبات سلوكية ومعلمات أخذ العينات. يتضمن النظام معمارية عميل-خادم تتعامل مع معالجة الصوت غير المتزامنة وتوفر واجهة برمجية لتكامل التطبيقات الخارجية. يدير ملفات تعريف الصوت وتكوينات الصوت عبر واجهة مدارة الحالة لضمان توليد متسق.

ACE-Step is a high-fidelity audio synthesis system and diffusion model designed to generate music and vocals from text descriptions. It functions as a music generator and vocal synthesizer, using a diffusion transformer decoder to produce audio across various languages and genres. The project provides tools for text-guided audio editing, including the ability to extend the duration of tracks, regenerate specific song segments, and perform latent-space audio inpainting to modify lyrics or styles. It also includes a framework for audio style fine-tuning using low-rank adaptation to adapt vocal