Awesome GitHub RepositoriesAudio Processing Automation

Basic-pitch es un transcriptor de audio de red neuronal y detector de tono polifónico. Funciona como un convertidor de audio a MIDI que transforma grabaciones de audio polifónicas en eventos de notas MIDI y datos de pitch bend. El sistema preserva la expresión musical rastreando fluctuaciones de frecuencia continuas para convertir deslizamientos y vibrato en eventos de pitch bend MIDI. Utiliza un motor de inferencia conectable que permite configurar el tiempo de ejecución del modelo según el sistema operativo o las necesidades de aceleración de hardware. El proyecto proporciona una interfaz de línea de comandos para el procesamiento de audio por lotes y una interfaz programática para integrar la transcripción y la extracción de eventos de notas en software personalizado. Los resultados de la transcripción se pueden exportar como archivos MIDI, salidas de modelo sin procesar y hojas de cálculo de eventos de notas.

Whisper streaming is an automated speech recognition engine designed to convert live audio into text. It functions as a network-based transcription server that accepts raw audio data from remote clients and returns incremental text results in real-time. The system distinguishes itself through its ability to process audio streams incrementally, allowing for immediate transcription and translation as speech is captured. It incorporates voice activity detection to isolate human speech from background noise and utilizes sliding-window buffering to manage incoming audio segments, ensuring that pro

Vocal-separate es una herramienta de procesamiento de audio diseñada para aislar pistas vocales e instrumentales de archivos de audio y video. Funciona como un motor de inteligencia artificial local que realiza la separación de fuentes directamente en la máquina del usuario, asegurando la privacidad de los datos al eliminar la necesidad de conectividad con servidores externos. El sistema proporciona una interfaz de control basada en navegador para gestionar subidas de medios y monitorear tareas de procesamiento. Para manejar la descomposición intensiva de señales, utiliza procesamiento de tensores acelerado por hardware, que descarga cálculos matemáticos complejos a hardware gráfico dedicado para mejorar la velocidad y la eficiencia de la memoria. El software incluye una cola de tareas asíncrona para gestionar múltiples solicitudes secuencialmente y soporta integración programática a través de una interfaz de red local. Esto permite a los usuarios automatizar flujos de trabajo de separación de audio por lotes conectando scripts o aplicaciones personalizadas al motor de procesamiento.

Esta utilidad de línea de comandos proporciona una interfaz especializada para gestionar y manipular archivos de audiolibros. Funciona como un motor de procesamiento diseñado para manejar la fusión, división y estandarización de formatos de audio, permitiendo a los usuarios organizar grandes colecciones a través de flujos de trabajo automatizados. La herramienta se distingue por integrar detección de silencio para identificar automáticamente puntos de ruptura lógicos para la creación y segmentación de capítulos. Admite la ejecución de tareas en paralelo para maximizar el rendimiento durante operaciones por lotes y utiliza la inyección de metadatos para asegurar que los marcadores de capítulo, el arte de portada y la información de indexación permanezcan persistentes a través de varios reproductores multimedia. Más allá de la manipulación central, el software incluye capacidades para ajustar bitrates y tasas de muestreo para asegurar la compatibilidad con hardware o requisitos de reproducción específicos. Gestiona la extracción y modificación de marcadores de capítulo y admite el procesamiento de múltiples archivos simultáneamente mediante coincidencia de patrones de directorio. La aplicación se distribuye como un archivo independiente, agrupando todas las dependencias necesarias para simplificar el despliegue en diferentes entornos.

Este proyecto es un toolkit integral para el reconocimiento de voz, síntesis y procesamiento de audio en el dispositivo, diseñado específicamente para Apple Silicon. Proporciona un framework para construir agentes de voz full-duplex en tiempo real que operan completamente offline, aprovechando la aceleración de hardware nativa para mantener el rendimiento y la privacidad. Al utilizar modelos de machine learning optimizados, la biblioteca permite la ejecución local de tareas de audio complejas sin depender de servicios externos en la nube. La biblioteca se distingue por su enfoque especializado en la interacción de voz local de alto rendimiento. Incluye una orquestación sofisticada para pipelines de audio en streaming, permitiendo la transcripción en tiempo real, síntesis de voz y clonación de voz con baja latencia. El sistema está diseñado para manejar conversaciones interactivas continuas, presentando mecanismos integrados para evitar bucles de retroalimentación de audio y gestionar sesiones de streaming persistentes. Más allá de la interacción central, el proyecto ofrece un amplio conjunto de capacidades de mejora y gestión de audio. Admite procesamiento de señales avanzado, incluyendo separación de fuentes, reducción de ruido y sobremuestreo de audio, junto con herramientas para diarización de hablantes y extracción de embeddings. El framework también proporciona amplias utilidades de gestión de modelos, como controles de cuantización, gestión de memoria y soporte para la carga de pesos de modelos personalizados, asegurando que los desarrolladores puedan equilibrar la velocidad de procesamiento y el consumo de recursos en hardware local. El proyecto incluye una interfaz de línea de comandos para ejecutar tareas de audio y convertir pesos de modelos en formatos optimizados. También expone endpoints HTTP y WebSocket para facilitar la integración con interfaces estándar de la industria.