2 Repos
Awesome GitHub RepositoriesInference Threading
Running neural network inference in background threads to prevent main-thread blocking.
Distinct from Worker Thread Patterns: Distinct from Worker Thread Patterns: specifically applies the pattern to the heavy computational load of ML inference.
Explore 2 awesome GitHub repositories matching software engineering & architecture · Inference Threading. Refine with filters or upvote what's useful.
Awesome Inference Threading GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- transcranial/keras-js
transcranial/keras-js
4,963Auf GitHub ansehenKeras-js ist eine JavaScript-Inferenz-Engine und ein browserbasiertes Machine-Learning-Framework, das darauf ausgelegt ist, vortrainierte Keras-neuronale Netze auszuführen. Es ermöglicht clientseitige Modell-Inferenz in Webbrowsern oder Node.js-Umgebungen, ohne dass ein Backend-Server erforderlich ist. Die Bibliothek nutzt einen WebGL-Tensor-Beschleuniger, um mathematische Operationen zur Hardwarebeschleunigung auf den Grafikprozessor abzubilden. Um die Reaktionsfähigkeit der Benutzeroberfläche während rechenintensiver Berechnungen aufrechtzuerhalten, integriert sie eine Web-Worker-Inferenz-Runtime, die die Verarbeitung neuronaler Netze in Hintergrund-Threads ausführt. Das System unterstützt das Laden von Modellen über JSON-Konfigurationsdateien und Gewichtungs-Tensoren. Es verwaltet große numerische Arrays unter Verwendung von WebGL-Texturspeicherung, um Hochgeschwindigkeits-Speicherzugriffe während der Tensor-Ausführung zu ermöglichen.
Executes neural network processing in background web worker threads to maintain user interface responsiveness.
JavaScript - huggingface/text-embeddings-inference
huggingface/text-embeddings-inference
4,871Auf GitHub ansehenText Embeddings Inference ist ein hochperformanter Inferenz-Server, der darauf ausgelegt ist, Text-Embedding- und Sequenz-Klassifizierungsmodelle als skalierbare API-Endpunkte zu hosten. Er bietet eine Vektor-Embedding-API zur Konvertierung von Text in dichte Repräsentationen sowie einen Cross-Encoder-Reranking-Server zur Bewertung der Relevanz von Dokumentsequenzen gegenüber einer Abfrage. Das Projekt bietet eine GPU-beschleunigte Inferenz-Engine, die dynamisches Batching und spezialisierte Kernels nutzt, um den Durchsatz zu maximieren. Es bietet eine hochperformante binäre Schnittstelle via gRPC als Alternative zu Standard-HTTP, um Netzwerklatenz und Serialisierungs-Overhead zu reduzieren. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Dokument-Ähnlichkeits-Ranking, mehrsprachigem Text-Reranking und Sequenz-Klassifizierung zur Vorhersage von Kategorien oder Sentiment. Es unterstützt diverse Deployment-Umgebungen, von serverlosen Auto-Scaling-Containern bis hin zu Air-Gapped-Installationen. Hardwarebeschleunigung ist für NVIDIA-GPUs, AMD-GPUs und Apple Metal verfügbar.
Offloads text processing and sequence truncation to a separate pool of threads to prevent blocking the main inference loop.
Rust
