Awesome GitHub RepositoriesCommand-Line

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

OpenChatKit is a training and inference toolkit for large language models. It provides a comprehensive set of tools for managing the model lifecycle, including a fine-tuning pipeline, a model weight converter, and a command-line interface for interacting with conversational agents. The toolkit features a framework for retrieval augmented generation, allowing models to incorporate relevant context from external vector indices. It also includes utilities for converting trained model checkpoints into formats compatible with standard inference libraries. The project covers conversational AI trai

llama-rs es un motor de inferencia de modelos de lenguaje de gran tamaño (LLM) local implementado en Rust. Permite la ejecución de cálculos de modelos en hardware local para generar respuestas de texto a partir de prompts de usuario. El proyecto utiliza operaciones de tensores basadas en Rust y mapeo de modelos en memoria directa para manejar álgebra lineal de alto rendimiento y carga eficiente de pesos. Incorpora cuantización de pesos para reducir la huella de memoria de los modelos convirtiendo pesos de alta precisión en formatos más pequeños. El sistema incluye una interfaz de línea de comandos para sesiones de chat interactivas y prompts únicos, junto con persistencia de sesión respaldada por archivos para guardar y restaurar historiales de conversación. También proporciona utilidades para recuperar configuraciones de tokenizadores desde hubs remotos y herramientas para calcular puntuaciones de perplejidad para evaluar el rendimiento del modelo.