WhisperSpeech/WhisperSpeech
WhisperSpeech
WhisperSpeech هو نظام تحويل الكلام إلى نص متعدد اللغات ونظام تحويل النص إلى كلام عصبي. يعمل عن طريق عكس بنية نموذج Whisper لتحويل النص إلى صوت اصطناعي عالي الدقة.
يتيح النظام استنساخ الصوت باستخدام ملفات صوتية مرجعية لتقليد متحدثين محددين. يدعم إنتاج الكلام متعدد اللغات، والذي يتضمن القدرة على توليد الصوت عبر لغات مختلفة والتعامل مع تبديل اللغة داخل جملة واحدة.
يغطي المشروع مجموعة واسعة من قدرات الكلام، بما في ذلك توليد النص إلى كلام وإعداد مجموعة بيانات الكلام. يتضمن أدوات لنسخ الكلام إلى نص، واستخراج الرموز الصوتية، واكتشاف نشاط الصوت.
Features
- Text-to-Speech - Generates high-fidelity synthetic audio from text using a neural multi-stage token pipeline.
- Voice Cloning Tools - Enables mimicking specific speakers using reference audio files to guide synthetic speech generation.
- Zero-Shot Voice Cloning - Provides zero-shot voice cloning by extracting speaker embeddings from short reference audio clips.
- Multilingual Text-to-Speech Engines - Specializes in multilingual speech production with seamless mixing of multiple languages in one output.
- Voice Cloning Engines - Mimics specific human voices by using reference audio samples to guide the synthesis engine.
- Inverted Architecture Models - Utilizes an inverted Whisper model architecture to convert text into high-fidelity synthetic audio.
- Multilingual Speech Synthesizers - Produces spoken audio in multiple languages with the ability to switch languages within a single sentence.
- Cross-Lingual Semantic Mappings - Implements a shared semantic space to enable seamless language switching within a single synthetic speech stream.
- Acoustic Token Pipelines - Ships a multi-stage pipeline that separates linguistic and sonic features via semantic and acoustic tokenization.
- Speech Dataset Engineering - Provides a complete pipeline for transcribing audio and extracting tokens to build speech synthesis training sets.
- Speech-to-Text Transcribers - Transcribes audio segments into text and semantic tokens to create high-quality training datasets.
- Neural Audio Pipelines - Implements an end-to-end neural pipeline using semantic and acoustic tokens to generate high-fidelity synthetic speech.
- Discrete Token Extraction - Uses discrete token extraction to represent audio as quantized sequences for language-model-based speech generation.
