Awesome GitHub RepositoriesTokenizer Asset Loading

llama-rs est un moteur d'inférence de grands modèles de langage local implémenté en Rust. Il permet l'exécution de calculs de modèles sur du matériel local pour générer des réponses textuelles à partir de prompts utilisateur. Le projet utilise des opérations de tenseurs basées sur Rust et un mapping de modèle en mémoire directe pour gérer l'algèbre linéaire haute performance et le chargement efficace des poids. Il intègre la quantification des poids pour réduire l'empreinte mémoire des modèles en convertissant les poids de haute précision en formats plus petits. Le système inclut une interface en ligne de commande pour des sessions de chat interactives et des prompts ponctuels, ainsi qu'une persistance de session basée sur fichier pour enregistrer et restaurer les historiques de conversation. Il fournit également des utilitaires pour récupérer les configurations de tokenizer depuis des hubs distants et des outils pour calculer les scores de perplexité afin d'évaluer les performances du modèle.