Awesome GitHub RepositoriesOn-Device Speech Recognizers

This project is a Python speech recognition library that serves as a unified interface for converting spoken audio into text. It functions as a bridge between Python applications and a variety of speech-to-text engines, providing a consistent way to interact with both local and cloud-based recognition services. The library distinguishes itself as a multi-engine transcription tool, wrapping diverse online APIs and offline recognition backends into a standardized format. This allows for interchangeable recognition engines and supports multilingual audio transcription through various language pa

Cactus ist eine On-Device-KI-Inferenz-Engine für die Ausführung von Large Language Models (LLMs), Vision-Modellen und Speech-to-Text-Systemen auf Mobil- und Wearable-Hardware. Sie bietet einen programmierbaren Tensor-Berechnungsgraphen zur Definition von Matrixoperationen und Aktivierungsfunktionen sowie ein lokales RAG-Framework (Retrieval Augmented Generation), das Modellantworten auf Basis lokaler Textdateien fundiert. Das Projekt umfasst ein Multiplattform-SDK mit Sprachbindungen zur Integration von KI-Funktionen in mobile Apps sowie ein Modellkonvertierungssystem, das externe Modellformate für eine optimierte lokale Ausführung transformiert. Es nutzt ein hybrides Routing-System, um Workloads je nach Hardwarekapazität zwischen On-Device-Ausführung und Cloud-Anbietern umzuleiten. Die Engine deckt ein breites Funktionsspektrum ab, einschließlich On-Device-Audioverarbeitung für Spracherkennung, Vektor-Embedding-Generierung für Ähnlichkeitssuche und Tool-Integration zur Analyse von Modellausgaben für externe Funktionsaufrufe. Diese Prozesse werden durch optimierte native Kernel unterstützt, die auf niedrige Latenz auf mobiler Hardware abgestimmt sind.

Porcupine is an on-device wake word detection engine that listens for a specific spoken phrase in real-time audio and triggers actions, all processed locally without any cloud connectivity. It includes a custom wake word model creator that generates production-ready models from just a few spoken examples in seconds, requiring no training data. Beyond wake word detection, Porcupine also provides on-device speech recognition for real-time transcription with custom vocabulary, an on-device audio content searcher that indexes and finds spoken phrases in audio files or streams, and a lightweight vo

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

PocketSphinx is an offline speech recognition engine that converts raw audio from files or live microphone streams into written text without requiring a network connection. It functions as a speech-to-text library, a real-time transcription engine, and a voice command processor, capable of detecting and transcribing spoken commands from continuous audio streams with configurable acoustic and language models. The engine uses weighted finite-state transducers to represent acoustic, phonetic, and language models as a single search graph for efficient decoding. It employs fixed-point acoustic mod

Tesseract-OCR-iOS ist eine native Integration der Tesseract-Engine für iOS-Anwendungen. Sie bietet On-Device-Bilderkennung, um gedruckten Text aus Bildern zu identifizieren, zu extrahieren und in bearbeitbare Strings umzuwandeln. Das Projekt ermöglicht die Ausführung auf dem lokalen Gerät, was bedeutet, dass Bildverarbeitung und Textextraktion vollständig auf der Hardware erfolgen, ohne externe Cloud-Dienste oder Netzwerkanfragen zu nutzen. Es verwendet einen C++-Wrapper und eine Objective-C-Brücke, um High-Level-iOS-APIs mit der zugrunde liegenden Tesseract-Engine und der Leptonica-Bildverarbeitungsbibliothek zu verbinden. Die Bibliothek unterstützt Workflows zur Digitalisierung von Dokumenten und die Entwicklung von Barrierefreiheits-Tools, die Text von der Kamera oder aus Fotos lesen. Sie verwaltet das Laden von sprachspezifischen Trainingsdaten direkt aus dem Anwendungs-Bundle.

Tess-two is an optical character recognition tool and Android application designed to extract written text from images using the Tesseract engine. It functions as an image analysis utility for detecting visual artifacts, blur, and optical flow within local image files on Android devices. The project includes an image pre-processing suite used to clean and manipulate images to increase the accuracy of text recognition. This involves a pipeline that applies grayscale conversion and binarization before the recognition process. The software integrates native image processing and character analys

Foundry-Local ist ein Machine-Learning-Entwicklungstool, das für private Inferenz auf dem Gerät und Modellmanagement entwickelt wurde. Es bietet eine lokale Serverumgebung, die Machine-Learning-Modelle direkt auf der Hardware des Benutzers hostet und sicherstellt, dass die gesamte Datenverarbeitung, einschließlich Prompt-Handhabung und Audiotranskription, innerhalb der lokalen Umgebung verbleibt, ohne dass eine externe Cloud-Konnektivität erforderlich ist. Das Projekt zeichnet sich durch die Automatisierung des gesamten Modell-Lebenszyklus aus, einschließlich der Entdeckung, des Herunterladens und der Versionierung von Assets, um die Kompatibilität mit der Host-Hardware aufrechtzuerhalten. Es verfügt über eine Hardware-Abstraktionsschicht, die automatisch den effizientesten verfügbaren Prozessor für rechenintensive Aufgaben erkennt und auswählt, was eine hardwarebeschleunigte Ausführung ohne manuelle Konfiguration ermöglicht. Über die Kern-Inferenz hinaus enthält das Tool eine Befehlszeilenschnittstelle für interaktive Modell-Exploration und Leistungsüberprüfung. Es bietet zudem standardisiertes API-Proxying, das eingehende Anfragen unter Verwendung branchenüblicher Protokolle auf lokale Modell-Endpunkte abbildet, um die Integration mit externen Software-Frameworks zu unterstützen.

Sherpa-ncnn is an edge-based speech recognition and synthesis engine designed to run neural network models locally on mobile, embedded, and desktop hardware. It provides a cross-platform framework for offline speech-to-text transcription and text-to-speech synthesis, ensuring that all audio processing occurs on-device without requiring an internet connection or external cloud services. The project distinguishes itself through its use of the ncnn inference engine, which is optimized for low-latency execution on resource-constrained devices. It incorporates on-device model quantization to reduc

Dieses Projekt ist ein umfassendes Toolkit für On-Device-Spracherkennung, -Synthese und Audioverarbeitung, das speziell für Apple Silicon entwickelt wurde. Es bietet ein Framework für den Aufbau von Echtzeit-Voice-Agents mit Vollduplex-Funktionalität, die vollständig offline arbeiten und native Hardwarebeschleunigung nutzen, um Performance und Datenschutz zu wahren. Durch den Einsatz optimierter Machine-Learning-Modelle ermöglicht die Bibliothek die lokale Ausführung komplexer Audioaufgaben ohne Abhängigkeit von externen Cloud-Diensten. Die Bibliothek zeichnet sich durch ihren spezialisierten Fokus auf lokale, hochperformante Sprachinteraktion aus. Sie enthält eine ausgefeilte Orchestrierung für Streaming-Audio-Pipelines, die Echtzeit-Transkription, Sprachsynthese und Voice-Cloning mit geringer Latenz ermöglicht. Das System ist für die Handhabung kontinuierlicher, interaktiver Konversationen konzipiert und verfügt über integrierte Mechanismen zur Vermeidung von Audio-Feedback-Schleifen und zur Verwaltung persistenter Streaming-Sitzungen. Über die Kerninteraktion hinaus bietet das Projekt eine breite Palette an Audio-Enhancement- und Management-Funktionen. Es unterstützt fortgeschrittene Signalverarbeitung, einschließlich Quellentrennung, Rauschunterdrückung und Audio-Upsampling, neben Tools für Sprecher-Diarisierung und Embedding-Extraktion. Das Framework bietet zudem umfangreiche Modellmanagement-Utilities, wie z. B. Quantisierungskontrollen, Speicherverwaltung und Unterstützung für das Laden benutzerdefinierter Modellgewichte, um sicherzustellen, dass Entwickler Verarbeitungsgeschwindigkeit und Ressourcenverbrauch auf lokaler Hardware ausbalancieren können. Das Projekt enthält eine CLI für die Ausführung von Audioaufgaben und die Konvertierung von Modellgewichten in optimierte Formate. Es stellt zudem HTTP- und WebSocket-Endpunkte bereit, um die Integration mit Standard-Industrieschnittstellen zu erleichtern.

Expo Speech Recognition is a cross-platform mobile module that converts live microphone audio and pre-recorded files into text using native speech engines. It provides offline speech recognition capabilities by downloading and verifying local speech models to enable on-device processing without an active network connection. The library includes session lifecycle management to start, stop, or abort recording, alongside real-time spoken language detection with confidence scoring. It emits volume change events for metering interfaces, handles audio session configuration and routing, and persist