Awesome GitHub RepositoriesFine-Tuning Frameworks

LLaMA-Factory is a comprehensive suite for dataset preparation, model fine-tuning, memory optimization, and standardized API deployment. It provides a unified platform for the supervised and reward-based fine-tuning of large language models and vision-language models. The framework includes a specialized toolkit for training vision-language models and a model serving interface that deploys trained models through high-performance APIs. It utilizes precision tuning and quantization techniques to reduce the hardware requirements and memory footprint of large models. The system covers data pipel

Unsloth is a high-performance training and inference platform designed to optimize the lifecycle of large language and multimodal models. It provides a comprehensive engine for fine-tuning, executing, and managing models locally, with a focus on reducing memory consumption and increasing compute speed on consumer-grade hardware. The platform distinguishes itself through hand-optimized kernels and automated computational graph techniques that maximize hardware throughput. It supports advanced training methodologies, including reinforcement learning for reasoning and efficient adapter-based fin

verl is a distributed training system designed for large language model alignment and reinforcement learning. It provides a framework for executing post-training pipelines, including supervised fine-tuning and reinforcement learning from human feedback, to refine model behavior and agentic capabilities. The system utilizes a hybrid training and inference engine that optimizes memory and communication when switching between model generation and gradient updates. It supports multi-modal reinforcement learning for models processing both image and text data, and implements algorithms such as PPO

Swift is a toolkit for the full-parameter and parameter-efficient fine-tuning of large language and multimodal models. It functions as a multimodal model trainer for text, image, video, and audio data, and includes specialized tools for model compression and reinforcement learning from human feedback. The framework provides an alignment toolkit for optimizing model behavior using preference learning algorithms and reinforcement learning. It integrates parameter-efficient fine-tuning methods to adapt models with minimal memory and compute requirements, alongside utilities for reducing hardware

LitGPT is a training and deployment framework for large language models, providing a suite of tools for pretraining, finetuning, quantizing, evaluating, and serving models within a production environment. It includes a dedicated training pipeline for adapting pretrained models to specific tasks, a quantization tool for reducing weight precision, and an inference server for hosting models via web interfaces. The framework supports high-performance model development through custom architecture implementation and the use of predefined recipes to standardize pretraining and finetuning. It enables

PaddleNLP is a development library and toolkit for training, fine-tuning, and deploying large and small language models using the PaddlePaddle framework. It provides a comprehensive suite for the entire natural language processing lifecycle, from model development to high-performance inference. The project features a standardized model zoo for loading and managing pre-trained models and tokenizers through a unified interface. It distinguishes itself with a specialized model compression framework that reduces memory footprints via weight precision conversion and lossless size optimization, alo

Ludwig is a multimodal machine learning platform and low-code framework designed for building, training, and deploying neural networks. It enables the construction of models that process text, images, audio, and tabular data through a unified interface using declarative configuration files rather than custom code. The system features a specialized low-code framework for large language models, supporting supervised fine-tuning, preference alignment, and a constrained decoding tool to force structured data output via logit extraction. It also includes an automated model architecture search to i

Oumi is a comprehensive large language model development platform designed for synthesizing data, fine-tuning models, and running performance evaluations. It serves as a unified environment for the entire model lifecycle, encompassing a training and fine-tuning suite, an evaluation framework, and tools for synthetic data generation and model distillation. The platform is distinguished by its iterative, failure-driven synthesis approach, which analyzes model weaknesses during evaluation to generate targeted training data. It utilizes an LLM-based judge framework to programmatically score respo

ART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin

Firefly is a training framework and inference engine for large language models. It functions as a toolkit for pre-training and fine-tuning various open-weight architectures, providing a system for model alignment and parameter-efficient fine-tuning. The project includes utilities for merging adapter weights back into base models to create standalone files. It also provides a model alignment toolkit to format training data according to specific prompt templates, ensuring conversational consistency across different models. The framework supports distributed model training and preference-based

Liger-Kernel is a collection of pre-built fused Triton kernels and patching utilities designed to accelerate large language model training. It provides drop-in kernel replacements for common LLM operations such as RMSNorm, cross-entropy loss, and attention, enabling increased throughput and reduced memory usage while preserving bitwise-exact gradients. The project serves as a toolkit for composing custom model architectures from individual optimized kernels and for patching pre-existing models with minimal code changes. The project distinguishes itself through its ability to perform runtime m

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

xtuner est un moteur d'entraînement complet pour les grands modèles de langage, offrant une boîte à outils pour le pré-entraînement, le fine-tuning supervisé et l'optimisation de modèles multimodaux vision-langage. Il sert d'accélérateur d'entraînement distribué et de framework spécialisé pour mettre à l'échelle des modèles Mixture-of-Experts et aligner le comportement du modèle via l'apprentissage par renforcement à partir de feedback humain (RLHF). Le projet se distingue par des optimisations avancées de mémoire et de calcul, telles que le parallélisme de séquence pour des fenêtres de contexte ultra-longues et le parallélisme de pipeline entrelacé pour réduire le temps d'inactivité du GPU. Il fournit une suite dédiée pour l'optimisation des préférences, implémentant des techniques comme Group Relative Policy Optimization et Direct Preference Optimization pour affiner les politiques du modèle et les systèmes de récompense. Les domaines de capacités étendus couvrent l'entraînement de modèle distribué sur plusieurs nœuds, la préparation de jeux de données multimodaux et la gestion du fine-tuning basé sur des adaptateurs. Le moteur inclut également des outils pour l'évaluation de modèle, la fusion de poids et l'exportation des paramètres entraînés vers des moteurs d'inférence. L'entraînement est géré via des fichiers de configuration standardisés et des lanceurs distribués pour assurer des résultats cohérents à travers les clusters de calcul.

TransformerLab est une plateforme d'orchestration MLOps et un environnement de recherche conçu pour l'entraînement, le fine-tuning et l'évaluation de grands modèles de langage. Il sert de plan de contrôle centralisé pour gérer les tâches d'apprentissage automatique et coordonner le calcul GPU distribué sur des fournisseurs cloud hybrides et sur site (on-premise). La plateforme se distingue par une optimisation de modèle pilotée par agent, utilisant des assistants IA pour analyser les métriques et proposer et mettre en file d'attente automatiquement des expériences d'hyperparamètres. Elle fournit un environnement de développement distant qui permet aux utilisateurs de lancer des notebooks interactifs, des éditeurs de code et des sessions SSH sécurisées directement sur des nœuds de calcul distants. Le système couvre un large éventail de capacités de flux de travail d'apprentissage automatique, incluant la coordination de tâches distribuées, les balayages d'hyperparamètres automatisés et le suivi complet des expériences. Il dispose de registres intégrés pour le versionnage des jeux de données et des artefacts de modèle, ainsi que d'outils pour l'évaluation des performances des modèles et le déploiement de serveurs d'inférence. Une interface en ligne de commande est fournie pour le contrôle de la plateforme, la surveillance des tâches et la gestion de l'installation et des mises à jour de l'instance serveur locale.

h2o-llmstudio est un framework d'entraînement de modèle de langage qui fournit une interface graphique sans code pour le réglage fin (fine-tuning) de grands modèles de langage sur des ensembles de données personnalisés. Il fonctionne comme un outil spécialisé pour gérer le cycle de vie de l'entraînement, de la configuration des hyperparamètres à la surveillance des métriques de performance. Le projet se distingue par un orchestrateur d'entraînement multi-GPU qui distribue les charges de travail via un traitement parallèle des données et un outil d'adaptation de bas rang pour un réglage fin économe en mémoire. Il inclut également un tableau de bord d'évaluation de modèle doté d'une interface de chat interactive pour vérifier les performances conversationnelles et la qualité des réponses. La plateforme couvre une large surface de capacités, y compris la préparation des ensembles de données avec mappage de schéma, la quantification de modèle pour réduire l'empreinte mémoire et la gestion des expériences pour comparer les exécutions d'entraînement. Elle fournit également des utilitaires pour l'exportation de modèles locaux et la publication vers des hubs de modèles communautaires. Le système inclut une interface en ligne de commande pour déclencher des expériences et gérer les fichiers de sortie au sein de flux de travail automatisés.

Kiln est un atelier de développement LLM et un framework d'évaluation conçu pour concevoir, tester et optimiser des prompts et des agents IA. Il fonctionne comme un orchestrateur multi-agents et un outil d'optimisation RAG, fournissant une interface visuelle pour le développement itératif de systèmes IA. Le projet se distingue par un pipeline d'affinage complet qui prend en charge l'entraînement de modèle sans code et la distillation de raisonnement. Il permet la création de systèmes multi-agents hiérarchiques où des acteurs spécialisés se coordonnent via l'appel d'outils, et il implémente un serveur de protocole de contexte de modèle (Model Context Protocol) pour exposer ces agents et capacités de recherche en tant qu'outils standardisés pour les clients externes. La plateforme couvre un large éventail de capacités, y compris la notation automatisée par juge IA pour l'assurance qualité, la génération de données synthétiques pour l'entraînement et l'évaluation, et la récupération hybride vecteur-mot-clé pour ancrer les réponses du modèle. Elle fournit également des outils pour l'évolution des prompts, l'audit de traces et la gestion de jeux de données collaboratifs via l'intégration Git. L'atelier est accessible via une API REST auto-hébergeable et une bibliothèque Python dédiée pour l'exécution de flux de travail programmatiques.

Lingua est un framework de recherche pour développer, entraîner et expérimenter avec des architectures de grands modèles de langage et des stratégies de données. Il fournit une base de code légère conçue pour faciliter l'itération de nouvelles conceptions de modèles via une combinaison d'orchestration d'entraînement distribué et de pipelines d'évaluation. Le framework inclut un orchestrateur d'entraînement distribué qui génère des scripts de soumission et gère les configurations pour lancer des tâches à travers des clusters de calcul. Il utilise un système de gestion de configuration qui permet aux paramètres du modèle d'être surchargés via des classes de données et des arguments de ligne de commande sans modifier le code source. Le système prend en charge le développement de modèles via des pipelines d'évaluation basés sur des checkpoints qui exécutent des scripts périodiques pour suivre les performances. Sa surface architecturale couvre la gestion de l'exécution distribuée, les surcharges de configuration hiérarchiques et des modèles modulaires pour échanger les composants du modèle.

llm-foundry est un framework d'entraînement pour grands modèles de langage, fournissant un système pour le pré-entraînement de modèles de fondation et le fine-tuning supervisé. Il inclut un entraîneur distribué pour mettre à l'échelle les charges de travail sur plusieurs nœuds et GPU, un pipeline de streaming de données pour charger les données depuis le stockage cloud, et une implémentation de fine-tuning efficace en paramètres. Le framework se distingue par son utilisation du sharding de paramètres et du streaming de données à haut débit pour maintenir la stabilité lors d'entraînements à grande échelle. Il intègre l'adaptation de bas rang (LoRA) pour réduire les coûts de calcul et utilise une précision en virgule flottante 8 bits pour augmenter la vitesse de calcul sur le matériel compatible. La base de code couvre un large éventail de capacités, incluant l'ingénierie de jeux de données pour transformer des données brutes en formats compressés, le benchmarking des performances des modèles via une suite d'évaluation, et la capacité d'exporter les poids des modèles dans des formats industriels standardisés. Il prend également en charge l'enregistrement de composants personnalisés via des décorateurs et offre un contrôle sur les méthodes d'embedding positionnel.

This project is a language model finetuning framework designed to adapt large language models to specific datasets using supervised fine-tuning and low-rank adaptation. It serves as a distributed training manager that coordinates workloads and synchronizes gradients across multiple processing units to scale performance. The framework includes a specialized toolkit for low-rank adaptation to update a subset of model weights, reducing memory and hardware requirements. It provides capabilities for instruction fine-tuning, domain adaptation, and the optimization of function calling to improve how

Minimalistic large language model 3D-parallelism training