1 Repo
Awesome GitHub RepositoriesInference Task Parallelization
Distributing model inference tasks across multiple hardware accelerators to reduce latency.
Distinct from Parallel Task Executors: Focuses on accelerating model inference via data parallelism rather than build-system task execution
Explore 1 awesome GitHub repository matching software engineering & architecture · Inference Task Parallelization. Refine with filters or upvote what's useful.
Awesome Inference Task Parallelization GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- sanchit-gandhi/whisper-jax
sanchit-gandhi/whisper-jax
4,687Auf GitHub ansehenwhisper-jax ist eine Hochleistungs-Implementierung des Whisper-Modells zur automatischen Spracherkennung, die unter Verwendung des JAX-Frameworks neu geschrieben wurde. Sie ist für beschleunigte Inferenz konzipiert und verwendet XLA-Kompilierung, um die Modellausführung auf Hardwarebeschleunigern zu optimieren. Das Projekt konzentriert sich auf TPU-optimierte Transkription, um einen hohen Durchsatz und hohe Geschwindigkeit zu erreichen. Es enthält eine Gewichtungs-Übersetzungspipeline, die vortrainierte Modellparameter von PyTorch in JAX-kompatible Arrays konvertiert. Das System unterstützt das Transkribieren von Audio in Text, das Übersetzen von Sprache in mehrere Sprachen und das Generieren von Audio-Zeitstempeln. Es ermöglicht die Stapelverarbeitung von Audio und skaliert die Leistung durch datenparalleles Batching und modellparallele Tensor-Partitionierung. Das Projekt bietet eine Methode, um das Transkriptionsmodell als Remote-Inferenz-Endpunkt mit einer Weboberfläche bereitzustellen.
Distributes audio transcription segments across multiple processing devices to increase overall execution speed.
Jupyter Notebookdeep-learningjaxspeech-recognition
