Awesome GitHub RepositoriesPhoneme-Based Speech Processors

Piper is a local neural text-to-speech engine designed to convert written text into natural human speech entirely on your own hardware. By utilizing a neural synthesis framework, it operates without the need for internet connectivity, ensuring that all audio generation remains private and secure. The system distinguishes itself through a modular architecture that allows for the dynamic loading of speaker embeddings and voice configurations. This enables users to switch between various vocal personas and styles without requiring a full reload of the core synthesis model. By processing input th

Bert-VITS2 is a neural speech synthesis system and AI voice generator designed to convert written text into natural sounding audio. It utilizes a VITS2 engine and a neural speech synthesis model to produce high-fidelity human voices. The system incorporates a multilingual BERT language processor to improve the prosody and emotional accuracy of the generated speech. It supports multilingual voice generation and custom voice cloning to replicate specific human speech patterns and tones. The architecture covers text-to-speech synthesis through a multi-stage pipeline involving phoneme alignment,

espeak-ng एक बहुभाषी टेक्स्ट-टू-स्पीच इंजन और C-आधारित लाइब्रेरी है जो लिखित टेक्स्ट को विभिन्न भाषाओं, लहजों और क्षेत्रीय बोलियों में बोले गए ऑडियो में परिवर्तित करती है। यह बाहरी एप्लिकेशन में संश्लेषण क्षमताओं को एम्बेड करने के लिए एक प्रोग्रामेटिक इंटरफेस और एक फोनेटिक टेक्स्ट कनवर्टर दोनों के रूप में कार्य करता है जो लिखित टेक्स्ट को फोनेम कोड में अनुवादित करता है। यह सिस्टम कई संश्लेषण विधियों का उपयोग करता है, जिसमें गणितीय रूप से मुखर ध्वनियाँ उत्पन्न करने के लिए फॉर्मेंट संश्लेषण और पूर्व-रिकॉर्ड किए गए फोनेटिक सेगमेंट को जोड़कर ऑडियो बनाने के लिए डिफोन संश्लेषण शामिल है। इसमें ऑडियो पिच और टाइमिंग को नियंत्रित करने के लिए SSML और HTML टैग को पार्स करने में सक्षम एक स्पीच प्रोसेसर शामिल है। इंजन फोनेटिक अनुवाद मैप्स और परिभाषा फ़ाइलों के माध्यम से कस्टम वॉयस डिज़ाइन और भाषा उच्चारण अनुकूलन के लिए टूल्स प्रदान करता है। यह WAV प्रारूप में ऑडियो फ़ाइल एक्सपोर्ट, प्लेबैक गति समायोजन और भाषाई विश्लेषण के लिए फोनेटिक डेटा के निर्माण का समर्थन करता है। स्पीच जनरेशन को ट्रिगर करने और ऑडियो आउटपुट सेटिंग्स को प्रबंधित करने के लिए एक कमांड लाइन इंटरफेस उपलब्ध है।

This is a collection of pre-trained neural models for speech recognition, synthesis, and voice activity detection. It provides a library of assets designed for speech-to-text, text-to-speech, and the identification of human speech segments within audio. The project features text-to-speech synthesis with support for multiple languages and the use of Speech Synthesis Markup Language to control prosody, pitch, and timing. For speech recognition, the system includes capabilities for transcribing audio to text with word-level timestamp extraction and an automated punctuation restorer to insert cap

Kokoro-FastAPI is a text-to-speech API and LLM speech synthesis server that generates spoken audio from text via a REST interface. It functions as a Kubernetes-native deployment designed for orchestrated speech synthesis. The system includes a voice blending engine that creates unique vocal profiles by mixing multiple existing voices using custom weight ratios. The service provides real-time audio streaming to reduce latency and generates word-level timestamps for speech synchronization. It manages hardware efficiency through on-demand model loading to optimize VRAM usage and includes system

यह प्रोजेक्ट TensorFlow पर आधारित एक वॉइस कन्वर्जन फ्रेमवर्क और डीप लर्निंग ऑडियो टूलकिट है, जिसे न्यूरल वॉइस स्टाइल ट्रांसफर के लिए बनाया गया है। यह एक स्पीच सिंथेसिस इंजन के रूप में काम करता है जो सोर्स स्पीकर की आवाज़ की स्पेक्ट्रल विशेषताओं को टारगेट स्पीकर की आवाज़ में बदल देता है। यह सिस्टम वॉइस कन्वर्जन के लिए फोनम-आधारित (phoneme-based) दृष्टिकोण अपनाता है, जो ऑडियो को स्पीकर-इंडिपेंडेंट फोनम में वर्गीकृत करता है और फिर उन्हें टारगेट वॉइस का उपयोग करके फिर से सिंथेसाइज करता है। यह पाइपलाइन अलग-अलग स्पीकर्स के बीच ऑडियो फीचर्स को मैप करके वॉइस विशेषताओं को बदलने की सुविधा देती है। इस टूलकिट में मल्टीपल GPUs पर ऑडियो मॉडल ट्रेनिंग, टेंसर डेटा नॉर्मलाइजेशन और मॉडल हाइपरपैरामीटर्स के प्रबंधन की क्षमताएं शामिल हैं। यह परफॉरमेंस मॉनिटरिंग के लिए भी टूल्स प्रदान करता है, जैसे कि कन्फ्यूजन मैट्रिक्स के जरिए क्लासिफिकेशन एक्यूरेसी को विज़ुअलाइज़ करना।

This project is a neural text-to-speech system and voice trainer that converts written text into spoken audio across a variety of global languages and regional dialects. It functions as an ONNX-based engine capable of performing fast offline inference and uses a phoneme-based controller to manage precise pronunciation. The system distinguishes itself through a comprehensive toolkit for neural voice training, allowing for the creation of custom single-speaker or multi-speaker models. It supports the export of these models to a standardized open format and provides hardware acceleration via gra