eric-mitchell/direct-preference-optimization
Direct Preference Optimization
Ce projet est un framework destiné à aligner les grands modèles de langage (LLM) sur les préférences humaines. Il fournit une bibliothèque permettant d'optimiser le comportement des modèles en mappant directement les données de préférence sur un objectif de politique, sans avoir recours à un modèle de récompense distinct.
Le framework utilise un objectif mathématique en forme fermée pour ajuster les poids du modèle en maximisant la probabilité des réponses préférées par rapport aux autres. Il inclut une boîte à outils pour le fine-tuning supervisé, permettant aux utilisateurs d'établir une base de référence stable sur des données de démonstration avant d'appliquer des techniques d'optimisation basées sur les préférences.
La bibliothèque prend en charge l'entraînement distribué, permettant de mettre à l'échelle l'alignement des modèles sur plusieurs accélérateurs matériels grâce au sharding de données et à des stratégies de parallélisation. Elle fournit également des utilitaires pour préparer des jeux de données de préférence personnalisés, en mappant les prompts et les paires de réponses pour structurer le feedback humain destiné au pipeline d'entraînement.
Features
- Direct Preference Optimization - Optimizes language models using human feedback data through direct preference optimization algorithms.
- Preference Alignment Objectives - Adjusts model weights by maximizing the likelihood of preferred responses relative to dispreferred ones using a closed-form mathematical objective.
- Reward Modeling - Optimizes language models by mapping preference data directly to a policy objective without requiring a separate reward model.
- Fine-Tuning Toolkits - Provides a collection of training utilities for aligning language models on specific datasets.
- Gradient-Based Parameter Updates - Updates model parameters by calculating divergence between preferred and rejected outputs to shift probability distributions.
- Data Parallelism - Splits training datasets across multiple devices and synchronizes gradients to accelerate model alignment.
- Large Language Models - Optimizes language models using human preference data to ensure generated outputs match desired behaviors.
- Large-Scale Model Training - Scales the training process across multiple hardware accelerators to reduce computation time for large models.
- Distributed Training - Scales model training across multiple hardware accelerators using parallelization strategies like data sharding.
- Large Language Model Training Frameworks - Provides a framework for scaling the training of large language models across multiple hardware accelerators.
- Supervised Fine-Tuning Workflows - Trains language models on curated datasets to establish a strong baseline performance before applying advanced optimization techniques.
- Supervised Fine-Tuning - Establishes a stable baseline by training the model on high-quality demonstration data before applying preference-based fine-tuning.
- Model Fine-Tuning - Trains models on specific datasets to ensure policy data remains in-distribution before applying preference-based learning.
