Awesome GitHub RepositoriesAudio Processing Automation

Basic-pitch este un transcriber audio bazat pe rețele neuronale și un detector de pitch polifonic. Funcționează ca un convertor audio-to-MIDI care transformă înregistrările audio polifonice în evenimente de note MIDI și date de pitch bend. Sistemul păstrează expresia muzicală prin urmărirea fluctuațiilor continue de frecvență pentru a converti glissando-urile și vibrato-ul în evenimente de pitch bend MIDI. Utilizează un motor de inferență pluggable care permite configurarea runtime-ului modelului în funcție de sistemul de operare sau de nevoile de accelerare hardware. Proiectul oferă o interfață în linie de comandă pentru procesarea audio în loturi și o interfață programatică pentru integrarea transcrierii și extracției evenimentelor de note în software personalizat. Rezultatele transcrierii pot fi exportate ca fișiere MIDI, output-uri brute ale modelului și foi de calcul cu evenimente de note.

Whisper streaming este un motor de recunoaștere automată a vorbirii conceput pentru a converti audio live în text. Funcționează ca un server de transcriere bazat pe rețea care acceptă date audio brute de la clienți la distanță și returnează rezultate text incrementale în timp real. Sistemul se distinge prin capacitatea sa de a procesa fluxuri audio incremental, permițând transcrierea și traducerea imediată pe măsură ce vorbirea este capturată. Încorporează detecția activității vocale pentru a izola vorbirea umană de zgomotul de fundal și utilizează buffering-ul cu fereastră glisantă pentru a gestiona segmentele audio primite, asigurându-se că procesarea rămâne eficientă și coerentă pe durate lungi. Dincolo de transcrierea live, proiectul suportă procesarea audio la distanță și oferă instrumente pentru a simula condiții de timp real folosind fișiere pre-înregistrate. Aceste capabilități permit benchmarking-ul modelelor de recunoaștere a vorbirii și testarea latenței în medii controlate. Software-ul este distribuit ca un pachet bazat pe Python.

Vocal-separate este un instrument de procesare audio conceput pentru a izola pistele vocale și instrumentale din fișierele audio și video. Funcționează ca un motor local de inteligență artificială care efectuează separarea surselor direct pe mașina utilizatorului, asigurând confidențialitatea datelor prin eliminarea necesității conectivității la servere externe. Sistemul oferă o interfață de control bazată pe browser pentru gestionarea încărcărilor media și monitorizarea sarcinilor de procesare. Pentru a gestiona descompunerea intensivă a semnalului, utilizează procesarea tensorială accelerată hardware, care descarcă calculele matematice complexe către hardware grafic dedicat pentru a îmbunătăți viteza și eficiența memoriei. Software-ul include o coadă de sarcini asincrone pentru a gestiona mai multe cereri secvențial și suportă integrarea programatică printr-o interfață de rețea locală. Acest lucru permite utilizatorilor să automatizeze fluxurile de lucru de separare audio în loturi prin conectarea scripturilor sau aplicațiilor personalizate la motorul de procesare.

Acest utilitar de linie de comandă oferă o interfață specializată pentru gestionarea și manipularea fișierelor audiobooks. Funcționează ca un motor de procesare conceput pentru a gestiona îmbinarea, divizarea și standardizarea formatelor audio, permițând utilizatorilor să organizeze colecții mari prin fluxuri de lucru automatizate. Instrumentul se distinge prin integrarea detecției de liniște pentru a identifica automat punctele logice de pauză pentru crearea capitolelor și segmentare. Suportă execuția paralelă a sarcinilor pentru a maximiza throughput-ul în timpul operațiunilor batch și utilizează injectarea de metadate pentru a asigura că markerii de capitol, coperta și informațiile de indexare rămân persistente pe diverse playere media. Dincolo de manipularea de bază, software-ul include capabilități pentru ajustarea bitrate-urilor și a ratelor de eșantionare pentru a asigura compatibilitatea cu hardware-ul sau cerințele de redare specifice. Gestionează extragerea și modificarea markerilor de capitol și suportă procesarea mai multor fișiere simultan prin potrivirea modelelor de directoare. Aplicația este distribuită ca o arhivă standalone, incluzând toate dependențele necesare pentru a simplifica deployment-ul în medii diferite.

Acest proiect este un toolkit cuprinzător pentru recunoașterea vocală on-device, sinteză și procesare audio, conceput special pentru Apple Silicon. Oferă un framework pentru construirea de agenți vocali full-duplex în timp real care operează complet offline, valorificând accelerarea hardware nativă pentru a menține performanța și confidențialitatea. Prin utilizarea modelelor de machine learning optimizate, biblioteca permite execuția locală a sarcinilor audio complexe fără dependență de servicii cloud externe. Biblioteca se distinge prin accentul său specializat pe interacțiunea vocală locală, de înaltă performanță. Include orchestrare sofisticată pentru pipeline-uri audio de streaming, permițând transcrierea în timp real, sinteza vocală și clonarea vocii cu latență scăzută. Sistemul este conceput pentru a gestiona conversații interactive, continue, având mecanisme încorporate pentru a preveni buclele de feedback audio și a gestiona sesiunile de streaming persistente. Dincolo de interacțiunea de bază, proiectul oferă o suită largă de capabilități de îmbunătățire și gestionare audio. Suportă procesarea avansată a semnalului, inclusiv separarea surselor, reducerea zgomotului și upsampling audio, alături de instrumente pentru diarizarea vorbitorilor și extracția de embedding-uri. Framework-ul oferă, de asemenea, utilitare extinse de gestionare a modelelor, cum ar fi controale de cuantizare, gestionarea memoriei și suport pentru încărcarea ponderilor de modele personalizate, asigurându-se că dezvoltatorii pot echilibra viteza de procesare și consumul de resurse pe hardware local. Proiectul include o interfață CLI pentru executarea sarcinilor audio și conversia ponderilor modelelor în formate optimizate. De asemenea, expune endpoint-uri HTTP și WebSocket pentru a facilita integrarea cu interfețele standard din industrie.