Awesome GitHub RepositoriesTokenizer Asset Loading

llama-rs es un motor de inferencia de modelos de lenguaje de gran tamaño (LLM) local implementado en Rust. Permite la ejecución de cálculos de modelos en hardware local para generar respuestas de texto a partir de prompts de usuario. El proyecto utiliza operaciones de tensores basadas en Rust y mapeo de modelos en memoria directa para manejar álgebra lineal de alto rendimiento y carga eficiente de pesos. Incorpora cuantización de pesos para reducir la huella de memoria de los modelos convirtiendo pesos de alta precisión en formatos más pequeños. El sistema incluye una interfaz de línea de comandos para sesiones de chat interactivas y prompts únicos, junto con persistencia de sesión respaldada por archivos para guardar y restaurar historiales de conversación. También proporciona utilidades para recuperar configuraciones de tokenizadores desde hubs remotos y herramientas para calcular puntuaciones de perplejidad para evaluar el rendimiento del modelo.