TensorSpeech/TensorflowTTS
TensorflowTTS
TensorFlowTTS هو إطار عمل للتركيب الصوتي العصبي يُستخدم لتحويل النص إلى موجات صوتية عالية الدقة. يوفر الإطار مجموعة أدوات لتدريب وضبط معماريات الشبكات العصبية التوليدية أو نماذج التسلسل إلى تسلسل لإنتاج كلام طبيعي.
يتضمن النظام تطبيقات للمشفرات الصوتية العصبية (Neural Vocoders) التي تحول التمثيلات الصوتية الوسيطة إلى موجات صوتية نهائية، كما يتميز بالتحكم في سرعة التشغيل لضبط معدل مخرجات الكلام المُركّب.
يغطي إطار العمل خط الإنتاج الكامل للتركيب الصوتي، بدءاً من معالجة البيانات الصوتية لإنشاء مخططات طيفية (Mel Spectrograms) مُطبعة، وصولاً إلى خط تدريب يدير عمليات تدريب النماذج المسرّعة بواسطة GPU. كما يستخدم إطارات تدريب مخصصة للتعامل مع دوال الخسارة ومنطق التحسين أثناء عملية التدريب.
Features
- End-to-End Speech Synthesis - Provides an end-to-end neural architecture that maps text inputs directly to audio waveforms.
- Neural Vocoders - Transforms intermediate mel spectrograms into high-fidelity raw audio waveforms using deep learning.
- Voice Model Trainers - Provides a specialized framework for training and fine-tuning neural models for speech synthesis.
- Custom TTS Model Training Pipelines - Offers an end-to-end pipeline for training TTS models, including dataset preparation and normalization.
- Text-to-Speech Model Training - Enables training and fine-tuning of generative speech models using audio-text pairs.
- Sequence-to-Sequence Models - Maps input text tokens to acoustic representations using encoder-decoder neural network architectures.
- Text-to-Speech - Generates natural sounding human speech from text input using high-fidelity generative neural models.
- Text-to-Speech Engines - Provides a neural speech synthesis engine that converts text into high-fidelity audio using TensorFlow 2.
- Mel-Spectrogram Processing - Converts raw audio into mel-spectrograms with logarithmic scaling to standardize input for neural networks.
- Dataset Batch Loading - Implements generator-based data loading to batch and shuffle audio files and transcripts for GPU-accelerated training.
- Audio Dataset Preprocessing - Provides utilities to convert raw audio and transcriptions into normalized mel spectrograms for ML training.
- GAN-Based Generators - Utilizes generative adversarial networks to synthesize realistic audio by pitting a generator against a discriminator.
- Training Data Loaders - Implements a framework for custom generators and batching logic to feed audio data into models.
- Speech and Audio Models - Speech synthesis and text-to-speech implementation.
