Скачать или смотреть Оптимизация прямых предпочтений (DPO) | Объяснение статьи

В этот раз мы рассмотрим метод прямой оптимизации предпочтений (DPO), который используется для настройки предпочтений в больших языковых моделях. В отличие от таких методов, как PPO и GRPO, этот метод не требует функции вознаграждения, а только данных о предпочтениях. Это делает обучение намного эффективнее, и вам не нужно беспокоиться об обучении функции вознаграждения. В этом видео показан весь математический вывод DPO, от первоначальной идеи до конечной цели. Приятного просмотра!


00:00 Введение
01:02 Постановка проблемы
03:08 Вывод
16:21 Заключение

Дополнительная литература:
1. Статья DPO: https://arxiv.org/abs/2305.18290
2. Статья PPO: https://arxiv.org/abs/1707.06347
3. Статья GRPO: https://arxiv.org/abs/2402.03300

#dpo #ppo #grpo #llm #languagemodels #reinforcementlearning #gpt

мяу