1 个仓库
Awesome GitHub RepositoriesPreference Alignment Objectives
Mathematical objectives used to align language model outputs with human preferences by optimizing the likelihood of preferred responses.
Distinct from Pruning Ratio Optimization: Distinct from Pruning Ratio Optimization: focuses on policy alignment via preference data rather than parameter reduction for resource efficiency.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Preference Alignment Objectives. Refine with filters or upvote what's useful.
Awesome Preference Alignment Objectives GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- eric-mitchell/direct-preference-optimization
eric-mitchell/direct-preference-optimization
2,888在 GitHub 上查看该项目是一个用于将大语言模型与人类偏好对齐的框架。它提供了一个库，通过将偏好数据直接映射到策略目标来优化模型行为，从而无需单独的奖励模型。 该框架利用闭式数学目标，通过最大化偏好响应相对于非偏好响应的似然度来调整模型权重。它包含一个监督微调工具包，允许用户在应用偏好优化技术之前，在演示数据上建立稳定的基准。 该库支持分布式训练，通过数据分片和并行化策略，实现跨多个硬件加速器的模型对齐扩展。它还提供了准备自定义偏好数据集的实用程序，将提示词和响应对映射为结构化的人类反馈，以供训练流水线使用。
Adjusts model weights by maximizing the likelihood of preferred responses relative to dispreferred ones using a closed-form mathematical objective.
Python
