1 Repo
Awesome GitHub RepositoriesTokenizer Asset Loading
Loading specific tokenizer vocabulary and merge rules from remote repositories.
Distinct from Remote Model Loading: Focuses on the tokenizer configuration specifically, whereas remote model loading usually refers to the weights
Explore 1 awesome GitHub repository matching devops & infrastructure · Tokenizer Asset Loading. Refine with filters or upvote what's useful.
Awesome Tokenizer Asset Loading GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- setzer22/llama-rs
setzer22/llama-rs
6,150Auf GitHub ansehenllama-rs ist eine Inferenz-Engine für lokale Large Language Models, die in Rust implementiert ist. Sie ermöglicht die Ausführung von Modellberechnungen auf lokaler Hardware, um Textantworten aus Benutzer-Prompts zu generieren. Das Projekt nutzt Rust-basierte Tensor-Operationen und Direct-Memory-Modell-Mapping, um High-Performance-Lineare-Algebra und effizientes Laden von Gewichten zu handhaben. Es integriert Weight-Quantization, um den Speicherbedarf von Modellen durch Konvertierung hochpräziser Gewichte in kleinere Formate zu reduzieren. Das System enthält ein Kommandozeilen-Interface für interaktive Chat-Sitzungen und einmalige Prompts, zusammen mit Datei-basierter Sitzungspersistenz, um Konversationsverläufe zu speichern und wiederherzustellen. Es bietet zudem Utilities zum Abrufen von Tokenizer-Konfigurationen von Remote-Hubs sowie Tools zur Berechnung von Perplexity-Scores, um die Modellleistung zu evaluieren.
Retrieves model-specific vocabulary and merge rules from external hubs for consistent encoding.
Rust
