Awesome GitHub RepositoriesAudio Processing Automation

Basic-pitch est un transcripteur audio de réseau neuronal et un détecteur de hauteur polyphonique. Il fonctionne comme un convertisseur audio-vers-MIDI qui transforme les enregistrements audio polyphoniques en événements de note MIDI et en données de pitch bend. Le système préserve l'expression musicale en suivant les fluctuations de fréquence continues pour convertir les glissandos et le vibrato en événements de pitch bend MIDI. Il utilise un moteur d'inférence enfichable qui permet de configurer l'exécution du modèle en fonction du système d'exploitation ou des besoins d'accélération matérielle. Le projet fournit une interface de ligne de commande pour le traitement audio par lots et une interface programmatique pour intégrer la transcription et l'extraction d'événements de note dans un logiciel personnalisé. Les résultats de transcription peuvent être exportés sous forme de fichiers MIDI, de sorties de modèle brutes et de feuilles de calcul d'événements de note.

Whisper streaming est un moteur de reconnaissance vocale automatisé conçu pour convertir l'audio en direct en texte. Il fonctionne comme un serveur de transcription basé sur le réseau qui accepte des données audio brutes provenant de clients distants et renvoie des résultats textuels incrémentaux en temps réel. Le système se distingue par sa capacité à traiter les flux audio de manière incrémentale, permettant une transcription et une traduction immédiates au fur et à mesure que la parole est capturée. Il intègre la détection d'activité vocale pour isoler la parole humaine du bruit de fond et utilise une mise en tampon à fenêtre glissante pour gérer les segments audio entrants, garantissant que le traitement reste efficace et cohérent sur de longues durées. Au-delà de la transcription en direct, le projet prend en charge le traitement audio distant et fournit des outils pour simuler des conditions en temps réel en utilisant des fichiers pré-enregistrés. Ces capacités permettent le benchmarking des modèles de reconnaissance vocale et le test de la latence dans des environnements contrôlés. Le logiciel est distribué sous forme de paquet basé sur Python.

Vocal-separate est un outil de traitement audio conçu pour isoler les pistes vocales et instrumentales à partir de fichiers audio et vidéo. Il fonctionne comme un moteur d'intelligence artificielle local qui effectue la séparation des sources directement sur la machine de l'utilisateur, garantissant la confidentialité des données en éliminant le besoin de connectivité avec un serveur externe. Le système fournit une interface de contrôle basée sur le navigateur pour gérer les téléchargements de médias et surveiller les tâches de traitement. Pour gérer la décomposition intensive des signaux, il utilise un traitement tensoriel accéléré par le matériel, qui décharge les calculs mathématiques complexes vers du matériel graphique dédié pour améliorer la vitesse et l'efficacité de la mémoire. Le logiciel inclut une file d'attente de tâches asynchrone pour gérer plusieurs requêtes séquentiellement et prend en charge l'intégration programmatique via une interface réseau locale. Cela permet aux utilisateurs d'automatiser les workflows de séparation audio par lots en connectant des scripts ou des applications personnalisés au moteur de traitement.

Cet utilitaire en ligne de commande fournit une interface spécialisée pour gérer et manipuler les fichiers de livres audio. Il fonctionne comme un moteur de traitement conçu pour gérer la fusion, la division et la standardisation du format audio, permettant aux utilisateurs d'organiser de grandes collections grâce à des flux de travail automatisés. L'outil se distingue en intégrant la détection de silence pour identifier automatiquement les points de rupture logiques pour la création de chapitres et la segmentation. Il prend en charge l'exécution de tâches en parallèle pour maximiser le débit lors des opérations par lots et utilise l'injection de métadonnées pour garantir que les marqueurs de chapitre, les pochettes d'album et les informations d'indexation restent persistants sur divers lecteurs multimédias. Au-delà de la manipulation fondamentale, le logiciel inclut des capacités pour ajuster les débits binaires et les taux d'échantillonnage pour garantir la compatibilité avec des exigences matérielles ou de lecture spécifiques. Il gère l'extraction et la modification des marqueurs de chapitre et prend en charge le traitement de plusieurs fichiers simultanément grâce à la correspondance de modèles de répertoire. L'application est distribuée sous forme d'archive autonome unique, regroupant toutes les dépendances nécessaires pour simplifier le déploiement dans différents environnements.

Ce projet est une boîte à outils complète pour la reconnaissance vocale, la synthèse et le traitement audio sur l'appareil, spécifiquement conçue pour Apple Silicon. Il fournit un framework pour construire des agents vocaux en temps réel et full-duplex qui fonctionnent entièrement hors ligne, tirant parti de l'accélération matérielle native pour maintenir les performances et la confidentialité. En utilisant des modèles de machine learning optimisés, la bibliothèque permet l'exécution locale de tâches audio complexes sans dépendance à des services cloud externes. La bibliothèque se distingue par son accent spécialisé sur l'interaction vocale locale haute performance. Elle inclut une orchestration sophistiquée pour les pipelines audio en streaming, permettant la transcription en temps réel, la synthèse vocale et le clonage de voix avec une faible latence. Le système est conçu pour gérer des conversations interactives continues, avec des mécanismes intégrés pour éviter les boucles de rétroaction audio et gérer les sessions de streaming persistantes. Au-delà de l'interaction de base, le projet offre une large suite de capacités d'amélioration et de gestion audio. Il prend en charge le traitement avancé du signal, y compris la séparation des sources, la réduction du bruit et le suréchantillonnage audio, parallèlement à des outils pour la diarisation des locuteurs et l'extraction d'embeddings. Le framework fournit également des utilitaires étendus de gestion de modèles, tels que des contrôles de quantification, la gestion de la mémoire et la prise en charge du chargement de poids de modèles personnalisés, garantissant que les développeurs peuvent équilibrer la vitesse de traitement et la consommation de ressources sur le matériel local. Le projet inclut une interface en ligne de commande pour exécuter des tâches audio et convertir les poids des modèles en formats optimisés. Il expose également des points de terminaison HTTP et WebSocket pour faciliter l'intégration avec les interfaces industrielles standard.