Awesome GitHub RepositoriesConversation Structure Validation

Oumi is a comprehensive large language model development platform designed for synthesizing data, fine-tuning models, and running performance evaluations. It serves as a unified environment for the entire model lifecycle, encompassing a training and fine-tuning suite, an evaluation framework, and tools for synthetic data generation and model distillation. The platform is distinguished by its iterative, failure-driven synthesis approach, which analyzes model weaknesses during evaluation to generate targeted training data. It utilizes an LLM-based judge framework to programmatically score respo

Harmony ist ein KI-SDK, das für das Tokenisieren von Konversationen, das Formatieren von Reasoning-Layouts, das Parsen von Rohausgaben und das Definieren von Tool-Call-Schemata entwickelt wurde. Es bietet ein System zur Konvertierung strukturierter Dialoge und Tool-Calls in die Token-Sequenzen, die für die Inferenz und das Training von Large Language Models erforderlich sind. Das Projekt enthält einen Output-Formatter, der Reasoning-Ketten und Multi-Channel-Ausgaben in konsistente Layouts strukturiert, um Token-Verlust zu vermeiden. Es bietet zudem einen Response-Parser, der rohe Completion-Token und Live-Streams zurück in strukturierte Nachrichtenobjekte und Rollen transformiert. Das SDK verwaltet die Tool-Integration durch ein Framework zur Definition aufrufbarer Funktionen und Namespaces. Es bietet zudem Funktionen für Echtzeit-Token-Parsing, Konfiguration des Modellverhaltens und zustandsbehaftete Konversations-Serialisierung.

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv