Awesome GitHub RepositoriesDataset Tokenization Tools

Llama2.c is a minimal inference engine designed to execute transformer-based language models using only standard C code. By implementing neural network forward passes without external dependencies or complex runtime environments, it provides a lightweight execution environment for running pre-trained models. The project distinguishes itself through a focus on portability and resource efficiency. It utilizes static memory allocation to avoid dynamic heap management and maps model parameter files directly into the process address space to minimize memory overhead. The implementation relies on s

Axolotl is a configuration-driven framework designed for the fine-tuning, evaluation, and quantization of large language models. It functions as a comprehensive orchestrator for distributed training, enabling users to manage complex workflows across multi-node and multi-GPU environments. By utilizing structured configuration files, the platform streamlines the setup of training parameters, dataset paths, and hardware distribution strategies. The project distinguishes itself through its support for diverse training methodologies, including full-parameter tuning, parameter-efficient adaptation,

OpenChat هو إطار عمل لتدريب وضبط ونشر نماذج اللغات الكبيرة المحسنة لمهام المحادثة والاستدلال الرياضي. يوفر دورة حياة شاملة لهذه النماذج، بدءاً من خطوط أنابيب التدريب ومكدسات النشر وصولاً إلى واجهة محادثة قائمة على الويب. يركز المشروع على تمكين تنفيذ النماذج عالية الأداء على أجهزة المستهلكين دون الحاجة إلى مسرعات على مستوى المؤسسات. يتضمن خادم استنتاج جاهز للإنتاج ينفذ بروتوكول إكمال المحادثة الخاص بـ OpenAI ويستخدم تجميع الطلبات الديناميكي لتحسين إنتاجية الأجهزة. يغطي النظام سير العمل التشغيلي بالكامل، بما في ذلك ترميز مجموعات البيانات (tokenization) وضبط النماذج عبر التدريب الخالي من الحشو (padding-free) والتعلم التعزيزي. كما يمتد إلى استضافة API مع مصادقة قائمة على المفاتيح وواجهة رسومية للتفاعل البشري في الوقت الفعلي.

xtuner هو محرك تدريب شامل للنماذج اللغوية الكبيرة، يقدم مجموعة أدوات للتدريب المسبق، والضبط الدقيق الخاضع للإشراف، وتحسين النماذج متعددة الوسائط للرؤية واللغة. يعمل كمسرع تدريب موزع وإطار عمل متخصص لتوسيع نطاق نماذج خليط الخبراء (Mixture-of-Experts) ومواءمة سلوك النموذج من خلال التعلم التعزيزي من التغذية الراجعة البشرية. يتميز المشروع بتحسينات متقدمة للذاكرة والحوسبة، مثل توازي التسلسل لنوافذ السياق الطويلة جداً وتوازي خط الأنابيب المتداخل لتقليل وقت خمول GPU. يوفر مجموعة مخصصة لتحسين التفضيلات، وتنفيذ تقنيات مثل تحسين السياسة النسبية للمجموعة وتحسين التفضيل المباشر لتحسين سياسات النموذج وأنظمة المكافآت. تغطي مجالات الإمكانيات الواسعة تدريب النماذج الموزعة عبر عقد متعددة، وإعداد مجموعات البيانات متعددة الوسائط، وإدارة الضبط الدقيق القائم على المحولات. يتضمن المحرك أيضاً أدوات لتقييم النموذج، ودمج الأوزان، وتصدير المعلمات المدربة إلى محركات الاستنتاج. تتم إدارة التدريب عبر ملفات تكوين موحدة ومشغلات موزعة لضمان نتائج متسقة عبر مجموعات الحوسبة.

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv