Awesome GitHub RepositoriesAudio Processing Automation

Basic-pitch ist ein neuronaler Audio-Transkribierer und polyphoner Tonhöhendetektor. Er fungiert als Audio-zu-MIDI-Konverter, der polyphone Audioaufnahmen in MIDI-Notenereignisse und Pitch-Bend-Daten umwandelt. Das System bewahrt den musikalischen Ausdruck, indem es kontinuierliche Frequenzschwankungen verfolgt, um Glides und Vibrato in MIDI-Pitch-Bend-Ereignisse umzuwandeln. Es nutzt eine pluggbare Inference-Engine, die es ermöglicht, die Modell-Laufzeit basierend auf dem Betriebssystem oder den Anforderungen an die Hardwarebeschleunigung zu konfigurieren. Das Projekt bietet ein Command-Line-Interface für die Batch-Audioverarbeitung und eine programmatische Schnittstelle zur Integration von Transkription und Notenereignis-Extraktion in benutzerdefinierte Software. Transkriptionsergebnisse können als MIDI-Dateien, rohe Modellausgaben und Notenereignis-Tabellen exportiert werden.

Whisper streaming ist eine automatisierte Spracherkennungs-Engine, die darauf ausgelegt ist, Live-Audio in Text umzuwandeln. Sie fungiert als netzwerkbasierter Transkriptionsserver, der rohe Audiodaten von Remote-Clients akzeptiert und inkrementelle Textergebnisse in Echtzeit zurückgibt. Das System zeichnet sich durch seine Fähigkeit aus, Audiostreams inkrementell zu verarbeiten, was eine sofortige Transkription und Übersetzung ermöglicht, während Sprache erfasst wird. Es integriert eine Spracherkennungs-Aktivitätsprüfung (Voice Activity Detection), um menschliche Sprache von Hintergrundgeräuschen zu isolieren, und nutzt Sliding-Window-Buffering, um eingehende Audiosegmente zu verwalten, wodurch sichergestellt wird, dass die Verarbeitung über lange Zeiträume hinweg effizient und kohärent bleibt. Über die Live-Transkription hinaus unterstützt das Projekt die Remote-Audioverarbeitung und bietet Tools zur Simulation von Echtzeitbedingungen unter Verwendung vorab aufgezeichneter Dateien. Diese Fähigkeiten ermöglichen das Benchmarking von Spracherkennungsmodellen und das Testen der Latenz unter kontrollierten Umgebungen. Die Software wird als Python-basiertes Paket vertrieben.

Vocal-separate ist ein Audio-Processing-Tool zur Isolierung von Gesangs- und Instrumentalspuren aus Audio- und Videodateien. Es fungiert als lokale KI-Engine, die die Quellentrennung direkt auf dem Rechner des Benutzers durchführt und so den Datenschutz durch den Wegfall externer Serververbindungen gewährleistet. Das System bietet ein browserbasiertes Kontrollinterface für die Verwaltung von Medien-Uploads und die Überwachung von Verarbeitungsprozessen. Zur Bewältigung intensiver Signalzerlegung nutzt es hardwarebeschleunigte Tensor-Verarbeitung, die komplexe mathematische Berechnungen auf dedizierte Grafikhardware auslagert, um Geschwindigkeit und Speichereffizienz zu verbessern. Die Software enthält eine asynchrone Aufgabenwarteschlange zur sequenziellen Verwaltung mehrerer Anfragen und unterstützt die programmatische Integration über ein lokales Netzwerk-Interface. Dies ermöglicht es Benutzern, Batch-Audio-Separations-Workflows durch die Verbindung eigener Skripte oder Anwendungen mit der Processing-Engine zu automatisieren.

Dieses Befehlszeilen-Dienstprogramm bietet eine spezialisierte Schnittstelle für die Verwaltung und Manipulation von Hörbuchdateien. Es fungiert als Verarbeitungs-Engine, die für das Zusammenführen, Teilen und die Formatstandardisierung von Audio konzipiert ist und es Benutzern ermöglicht, große Sammlungen durch automatisierte Workflows zu organisieren. Das Tool zeichnet sich durch die Integration von Stilleerkennung aus, um logische Bruchpunkte für die Kapitelbildung und Segmentierung automatisch zu identifizieren. Es unterstützt die parallele Aufgabenausführung, um den Durchsatz bei Batch-Operationen zu maximieren, und nutzt Metadaten-Injektion, um sicherzustellen, dass Kapitelmarkierungen, Cover-Art und Indexierungsinformationen über verschiedene Mediaplayer hinweg persistent bleiben. Über die Kernmanipulation hinaus enthält die Software Funktionen zur Anpassung von Bitraten und Abtastraten, um die Kompatibilität mit spezifischen Hardware- oder Wiedergabeanforderungen sicherzustellen. Sie verwaltet die Extraktion und Modifikation von Kapitelmarkierungen und unterstützt die gleichzeitige Verarbeitung mehrerer Dateien durch Verzeichnismusterabgleich. Die Anwendung wird als einzelnes, eigenständiges Archiv vertrieben, das alle notwendigen Abhängigkeiten bündelt, um das Deployment über verschiedene Umgebungen hinweg zu vereinfachen.

Dieses Projekt ist ein umfassendes Toolkit für On-Device-Spracherkennung, -Synthese und Audioverarbeitung, das speziell für Apple Silicon entwickelt wurde. Es bietet ein Framework für den Aufbau von Echtzeit-Voice-Agents mit Vollduplex-Funktionalität, die vollständig offline arbeiten und native Hardwarebeschleunigung nutzen, um Performance und Datenschutz zu wahren. Durch den Einsatz optimierter Machine-Learning-Modelle ermöglicht die Bibliothek die lokale Ausführung komplexer Audioaufgaben ohne Abhängigkeit von externen Cloud-Diensten. Die Bibliothek zeichnet sich durch ihren spezialisierten Fokus auf lokale, hochperformante Sprachinteraktion aus. Sie enthält eine ausgefeilte Orchestrierung für Streaming-Audio-Pipelines, die Echtzeit-Transkription, Sprachsynthese und Voice-Cloning mit geringer Latenz ermöglicht. Das System ist für die Handhabung kontinuierlicher, interaktiver Konversationen konzipiert und verfügt über integrierte Mechanismen zur Vermeidung von Audio-Feedback-Schleifen und zur Verwaltung persistenter Streaming-Sitzungen. Über die Kerninteraktion hinaus bietet das Projekt eine breite Palette an Audio-Enhancement- und Management-Funktionen. Es unterstützt fortgeschrittene Signalverarbeitung, einschließlich Quellentrennung, Rauschunterdrückung und Audio-Upsampling, neben Tools für Sprecher-Diarisierung und Embedding-Extraktion. Das Framework bietet zudem umfangreiche Modellmanagement-Utilities, wie z. B. Quantisierungskontrollen, Speicherverwaltung und Unterstützung für das Laden benutzerdefinierter Modellgewichte, um sicherzustellen, dass Entwickler Verarbeitungsgeschwindigkeit und Ressourcenverbrauch auf lokaler Hardware ausbalancieren können. Das Projekt enthält eine CLI für die Ausführung von Audioaufgaben und die Konvertierung von Modellgewichten in optimierte Formate. Es stellt zudem HTTP- und WebSocket-Endpunkte bereit, um die Integration mit Standard-Industrieschnittstellen zu erleichtern.