KoljaB/RealtimeTTS
RealtimeTTS
RealtimeTTS هو محرك تحويل النص إلى كلام (TTS) في الوقت الفعلي ومعالج تدفق مصمم لتحويل تدفقات النص أو الرموز إلى تشغيل صوتي بأقل زمن انتقال. يوفر واجهة برمجية لإدارة تدفقات الصوت، وتقدم التوليف، وتكامل محركات الكلام المحلية أو السحابية.
يتضمن النظام أداة لاستنساخ الصوت العصبي تولد كلاماً اصطناعياً عن طريق استخراج الميزات الصوتية من عينات صوتية مرجعية. ويستخدم تجريداً قائماً على الموفر لتوجيه طلبات التوليف عبر نماذج عصبية مختلفة وواجهات برمجة تطبيقات سحابية.
يغطي المشروع مجموعة من المجالات الوظيفية بما في ذلك التحكم في التشغيل غير المتزامن، وتوليف الصوت من تدفق الرموز، وسير عمل مزامنة الكلام التي تطلق استدعاءات (callbacks) على مستوى الكلمة أو الحرف. كما يدعم تصدير الصوت المُولّد مباشرة إلى ملفات WAV للتخزين الدائم.
Features
- Real-Time Text-To-Speech - Converts streaming text or token sequences into audio immediately to minimize the delay between generation and playback.
- Text-to-Audio Token Decoding - Processes incoming text chunks into audio fragments incrementally to minimize delay between input and playback.
- Voice Cloning Tools - Ships a neural tool that generates synthetic speech by cloning human voices from reference audio samples.
- Real-Time Speech Synthesis - Converts strings or token streams into audio in real-time to minimize playback latency.
- Voice Cloning Engines - Generates synthetic speech by extracting acoustic features from reference audio samples to mimic human voices.
- Text-to-Speech Integrations - Provides interfaces to connect local models and cloud APIs for converting text into audio chunks.
- TTS Stream Processors - Transforms incoming text strings into real-time audio streams for synchronized playback and event triggering.
- Text-to-Speech Engines - Operates as a system for converting text or token streams into audio playback with minimal latency.
- Speech Synthesis Libraries - Provides a programmatic interface for managing audio playback, exporting files, and tracking synthesis progress.
- Speech Progress Callbacks - Triggers word and character-level events to synchronize external actions with the spoken audio timeline.
- Multi-Provider Abstractions - Uses a common interface to route synthesis requests across different local neural models and cloud providers.
- Audio File Exports - Supports writing synthesized speech buffers directly to WAV files on disk for persistent storage.
- Playback Controls - Implements a non-blocking command queue to pause, resume, and stop audio playback during runtime.
