Awesome GitHub RepositoriesConversation Structure Validation

Oumi is a comprehensive large language model development platform designed for synthesizing data, fine-tuning models, and running performance evaluations. It serves as a unified environment for the entire model lifecycle, encompassing a training and fine-tuning suite, an evaluation framework, and tools for synthetic data generation and model distillation. The platform is distinguished by its iterative, failure-driven synthesis approach, which analyzes model weaknesses during evaluation to generate targeted training data. It utilizes an LLM-based judge framework to programmatically score respo

Harmony est un SDK d'IA conçu pour tokeniser les conversations, formater les mises en page de raisonnement, analyser les sorties brutes et définir des schémas d'appel d'outils. Il fournit un système pour convertir les dialogues structurés et les appels d'outils en séquences de jetons requises pour l'inférence et l'entraînement de grands modèles de langage. Le projet inclut un formateur de sortie qui structure les chaînes de raisonnement et les sorties multicanaux en mises en page cohérentes pour éviter la perte de jetons. Il dispose également d'un analyseur de réponse qui transforme les jetons de complétion bruts et les flux en direct en objets de message et rôles structurés. Le SDK gère l'intégration d'outils via un framework pour définir des fonctions appelables et des espaces de noms. Il fournit en outre des capacités pour l'analyse de jetons en temps réel, la configuration du comportement du modèle, et la sérialisation de conversation avec état.

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv