Awesome GitHub RepositoriesDataset Tokenization Tools

Llama2.c is a minimal inference engine designed to execute transformer-based language models using only standard C code. By implementing neural network forward passes without external dependencies or complex runtime environments, it provides a lightweight execution environment for running pre-trained models. The project distinguishes itself through a focus on portability and resource efficiency. It utilizes static memory allocation to avoid dynamic heap management and maps model parameter files directly into the process address space to minimize memory overhead. The implementation relies on s

Axolotl is a configuration-driven framework designed for the fine-tuning, evaluation, and quantization of large language models. It functions as a comprehensive orchestrator for distributed training, enabling users to manage complex workflows across multi-node and multi-GPU environments. By utilizing structured configuration files, the platform streamlines the setup of training parameters, dataset paths, and hardware distribution strategies. The project distinguishes itself through its support for diverse training methodologies, including full-parameter tuning, parameter-efficient adaptation,

OpenChat ist ein Framework für das Training, Fine-Tuning und Deployment von Large Language Models, die für Konversations- und mathematische Schlussfolgerungsaufgaben optimiert sind. Es bietet einen umfassenden Lebenszyklus für diese Modelle, von Trainings-Pipelines und Deployment-Stacks bis hin zu einer webbasierten Chat-Oberfläche. Das Projekt konzentriert sich darauf, eine leistungsstarke Modellausführung auf Consumer-Hardware ohne den Bedarf an Enterprise-Beschleunigern zu ermöglichen. Es enthält einen produktionsreifen Inference-Server, der das OpenAI-Chat-Completion-Protokoll implementiert und dynamisches Request-Batching nutzt, um den Hardware-Durchsatz zu optimieren. Das System deckt den gesamten operativen Workflow ab, einschließlich Dataset-Tokenisierung und Modell-Fine-Tuning mittels Padding-freiem Training und Reinforcement Learning. Es erweitert dies um API-Hosting mit schlüsselbasierter Authentifizierung und eine grafische Benutzeroberfläche für die menschliche Interaktion in Echtzeit.

xtuner ist eine umfassende Trainings-Engine für Large Language Models und bietet ein Toolkit für Pre-Training, Supervised Fine-Tuning und die Optimierung von vision-sprachlichen multimodalen Modellen. Sie dient als verteilter Trainingsbeschleuniger und spezialisiertes Framework zur Skalierung von Mixture-of-Experts-Modellen sowie zur Ausrichtung von Modellverhalten durch Reinforcement Learning from Human Feedback. Das Projekt zeichnet sich durch fortgeschrittene Speicher- und Rechenoptimierungen aus, wie Sequence-Parallelism für ultra-lange Kontextfenster und Interleaved-Pipeline-Parallelism zur Reduzierung von GPU-Idle-Zeiten. Es bietet eine dedizierte Suite für Preference-Optimization und implementiert Techniken wie Group Relative Policy Optimization und Direct Preference Optimization, um Modell-Policies und Belohnungssysteme zu verfeinern. Breite Funktionsbereiche decken verteiltes Modelltraining über mehrere Knoten hinweg, multimodale Datensatzvorbereitung und die Verwaltung von Adapter-basiertem Fine-Tuning ab. Die Engine enthält zudem Tools für Modellevaluation, Weight-Merging und den Export trainierter Parameter in Inferenz-Engines. Das Training wird über standardisierte Konfigurationsdateien und verteilte Launcher verwaltet, um konsistente Ergebnisse über Rechencluster hinweg sicherzustellen.

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv