Awesome GitHub RepositoriesCommand-Line

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

OpenChatKit is a training and inference toolkit for large language models. It provides a comprehensive set of tools for managing the model lifecycle, including a fine-tuning pipeline, a model weight converter, and a command-line interface for interacting with conversational agents. The toolkit features a framework for retrieval augmented generation, allowing models to incorporate relevant context from external vector indices. It also includes utilities for converting trained model checkpoints into formats compatible with standard inference libraries. The project covers conversational AI trai

llama-rs este un motor de inferență pentru modele de limbaj mari (LLM) implementat în Rust. Permite executarea calculelor modelului pe hardware local pentru a genera răspunsuri text din prompt-urile utilizatorului. Proiectul utilizează operațiuni tensoriale bazate pe Rust și maparea directă a memoriei modelului pentru a gestiona algebra liniară de înaltă performanță și încărcarea eficientă a ponderilor. Încorporează cuantificarea ponderilor pentru a reduce amprenta de memorie a modelelor prin convertirea ponderilor de înaltă precizie în formate mai mici. Sistemul include o interfață de linie de comandă pentru sesiuni de chat interactive și prompt-uri unice, împreună cu persistența sesiunii bazată pe fișiere pentru a salva și restaura istoricul conversațiilor. Oferă, de asemenea, utilitare pentru preluarea configurațiilor de tokenizare din hub-uri externe și instrumente pentru calcularea scorurilor de perplexitate pentru a evalua performanța modelului.