Awesome GitHub RepositoriesReference-Driven Synthesis

MockingBird is an AI voice cloning tool and text-to-speech system designed to generate synthetic speech. It functions as a voice synthesis trainer for building custom models from audio datasets, a command-line generator for producing audio files, and a text-to-speech server for remote application integration. The project specializes in real-time voice cloning, which extracts vocal characteristics from short audio samples to mimic a target speaker's unique timbre. It utilizes reference-driven audio synthesis to condition pre-trained models on specific audio samples, allowing for the generation

AudioGPT is an LLM-driven audio framework and processing suite that uses large language models to orchestrate neural audio pipelines. It functions as a multimodal audio generator and processing system, integrating a collection of pretrained models to handle speech synthesis, sound generation, and audio manipulation. The system is distinguished by its ability to generate audio from diverse inputs, including text and images, and its capacity to produce synchronized talking head videos. It also operates as a neural speech translator, converting spoken language between different tongues while pre

ChatTTS-ui ist ein webbasiertes Interface und ein API-Wrapper für das ChatTTS-Modell, das entwickelt wurde, um geschriebenen Text und gemischte Spracheingaben in gesprochenes Audio umzuwandeln. Es fungiert als KI-Sprachsynthese-Dashboard und als programmatischer Generator für die Erstellung natürlicher Sprachausgabe. Das Projekt konzentriert sich auf die Erstellung benutzerdefinierter Sprachprofile und die Steuerung von Sprachnuancen. Es ermöglicht die Beibehaltung konsistenter Sprechereigenschaften mithilfe von Seed-Werten und Datendateien und bietet gleichzeitig Kontrollen für Tonfall, Lachen und Pausen durch Verhaltens-Prompts und Sampling-Parameter. Das System umfasst eine Client-Server-Architektur, die asynchrone Audioverarbeitung handhabt und eine programmatische Schnittstelle für die Integration externer Anwendungen bietet. Es verwaltet Sprachprofile und Audiokonfigurationen über ein zustandsverwaltetes Interface, um eine konsistente Synthese zu gewährleisten.

ACE-Step is a high-fidelity audio synthesis system and diffusion model designed to generate music and vocals from text descriptions. It functions as a music generator and vocal synthesizer, using a diffusion transformer decoder to produce audio across various languages and genres. The project provides tools for text-guided audio editing, including the ability to extend the duration of tracks, regenerate specific song segments, and perform latent-space audio inpainting to modify lyrics or styles. It also includes a framework for audio style fine-tuning using low-rank adaptation to adapt vocal