Awesome GitHub RepositoriesMultilingual Audio Processing

Este proyecto es un framework para construir asistentes de voz locales y un servidor de streaming de audio en tiempo real. Funciona como un motor de inferencia contenedorizado y un pipeline de voz multilingüe que orquesta componentes de conversión de voz a texto, modelos de lenguaje y conversión de texto a voz para transformar la entrada hablada en salida hablada. El sistema se distingue por su uso de streaming bidireccional basado en WebSocket para interacciones de baja latencia. Cuenta con un sistema de detección de actividad de voz que gestiona los límites del habla y maneja interrupciones del usuario durante la reproducción del asistente. También admite la clonación de voz personalizada mediante preajustes de audio y la capacidad de intercambiar puntos de control de modelos o APIs externas para el reconocimiento y la síntesis. El framework cubre una amplia superficie de capacidades, incluyendo buffering de audio asíncrono, gestión de turnos basada en eventos y ejecución de herramientas basada en esquemas. Proporciona soporte para la gestión de conversaciones multilingües y ejecuta sesiones concurrentes mediante aislamiento de pipelines basado en hilos. El proyecto está disponible como imágenes de contenedor optimizadas para arquitecturas x86 y ARM64.

Omnilingual-ASR is a multilingual automatic speech recognition framework and toolkit designed to transcribe audio across 1,600 languages. It provides a complete pipeline for converting speech to text, including a toolkit for fine-tuning pre-trained speech models to specific languages or datasets using custom training recipes. The system supports zero-shot speech recognition, allowing the model to predict text in unseen languages without extensive training data. It further enables few-shot language guidance through in-context examples and uses language codes to constrain transcription output t