davabase/whisper_real_time
Whisper Real Time
Whisper Real-Time est un moteur de synthèse parole-texte conçu pour convertir l'entrée microphone continue en transcriptions écrites. Il fonctionne comme un processeur audio en temps réel qui tire parti du modèle OpenAI Whisper pour générer une sortie textuelle immédiate à partir de la langue parlée en direct.
Le système utilise une architecture basée sur transformer pour mapper les séquences audio vers des jetons de texte. Il gère les données entrantes via un mécanisme de mise en mémoire tampon à fenêtre glissante et un tampon circulaire, qui assure un flux constant d'audio pour le moteur d'inférence. Pour maintenir la précision pendant le traitement continu, le logiciel emploie un contexte de transcription avec état qui conserve un historique des segments audio précédents.
Cet outil prend en charge une variété d'applications, incluant la transcription de parole en direct, l'automatisation des notes de réunion, le sous-titrage vocal en temps réel et le traitement des commandes vocales. L'implémentation utilise un pipeline d'inférence asynchrone pour découpler la capture audio du traitement du modèle, empêchant la boucle d'exécution principale de se bloquer pendant la transcription.
Features
- Whisper-Based Engines - Provides a real-time transcription tool leveraging the transformer-based model for continuous audio processing.
- Speech Recognition Engines - Utilizes a transformer-based speech recognition engine to map audio sequences directly to text tokens.
- Real-Time Audio Transcribers - Converts continuous microphone input into written text in real time as the user speaks.
- Speech-to-Text Engines - Acts as a speech-to-text engine that translates spoken language into written transcripts using deep learning models.
- Speech Transcription Engines - Provides live speech transcription by converting continuous microphone input into written text using deep learning models.
- Rolling Context Windows - Maintains a rolling history of previous audio segments to provide linguistic context for accurate real-time decoding.
- Asynchronous Inference - Implements an asynchronous inference pipeline to decouple audio capture from model processing, preventing main-thread blocking.
- Meeting Automation & Transcription - Automates meeting note generation by transcribing live discussions into searchable text documents.
- Audio Stream Segmenters - Segments continuous microphone input into fixed-duration chunks using sliding-window buffering to maintain a steady stream for inference.
- Real-Time Video Captioning - Generates instant text overlays for live audio streams to improve accessibility and provide immediate written records.
- Voice Command Recognition - Captures live spoken input to trigger automated actions or control software interfaces through natural language recognition.
