Awesome GitHub RepositoriesCommand-Line

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

OpenChatKit is a training and inference toolkit for large language models. It provides a comprehensive set of tools for managing the model lifecycle, including a fine-tuning pipeline, a model weight converter, and a command-line interface for interacting with conversational agents. The toolkit features a framework for retrieval augmented generation, allowing models to incorporate relevant context from external vector indices. It also includes utilities for converting trained model checkpoints into formats compatible with standard inference libraries. The project covers conversational AI trai

llama-rs est un moteur d'inférence de grands modèles de langage local implémenté en Rust. Il permet l'exécution de calculs de modèles sur du matériel local pour générer des réponses textuelles à partir de prompts utilisateur. Le projet utilise des opérations de tenseurs basées sur Rust et un mapping de modèle en mémoire directe pour gérer l'algèbre linéaire haute performance et le chargement efficace des poids. Il intègre la quantification des poids pour réduire l'empreinte mémoire des modèles en convertissant les poids de haute précision en formats plus petits. Le système inclut une interface en ligne de commande pour des sessions de chat interactives et des prompts ponctuels, ainsi qu'une persistance de session basée sur fichier pour enregistrer et restaurer les historiques de conversation. Il fournit également des utilitaires pour récupérer les configurations de tokenizer depuis des hubs distants et des outils pour calculer les scores de perplexité afin d'évaluer les performances du modèle.