eric-mitchell/direct-preference-optimization
Direct Preference Optimization
Este proyecto es un framework para alinear modelos de lenguaje extensos (LLM) con las preferencias humanas. Proporciona una librería para optimizar el comportamiento del modelo mapeando los datos de preferencia directamente a un objetivo de política, evitando la necesidad de un modelo de recompensa independiente.
El framework utiliza un objetivo matemático de forma cerrada para ajustar los pesos del modelo maximizando la probabilidad de las respuestas preferidas frente a las no preferidas. Incluye un kit de herramientas para el ajuste fino supervisado (SFT), lo que permite a los usuarios establecer una línea base estable con datos de demostración antes de aplicar técnicas de optimización basadas en preferencias.
La librería admite entrenamiento distribuido, lo que permite escalar la alineación del modelo en múltiples aceleradores de hardware mediante estrategias de fragmentación de datos y paralelización. También proporciona utilidades para preparar datasets de preferencia personalizados, mapeando pares de prompts y respuestas para estructurar la retroalimentación humana para el pipeline de entrenamiento.
