迭代式纳什偏好优化的高效探索

arXiv:2606.01382v2 公告类型：替换 摘要：偏好对齐是改进大型语言模型（LLM）的核心，但当人类偏好具有非传递性时，基于奖励的形式可能会受到限制。基于人类反馈的纳什学习（NLHF）通过将对齐建模为偏好博弈并寻求纳什均衡，解决了这一局限。然而，可扩展 NLHF 的学习理论基础仍然有限：现有的后悔保证依赖于显式的偏好模型估计和极小极大预言机，而更简单的迭代方法则缺乏此类保证。我们研究了在线迭代 NLHF，并确定探索是其中的关键障碍。首先，我们证明，标准迭代 NLHF 可能对 KL 正则化参数的倒数产生指数级依赖，这表明通过策略更新实现的隐式探索可能并不足够。随后，我们提出探索式纳什偏好优化（ENPO），将 SFT 类型的正则化与对抗式策略探索相结合。ENPO 消除了这种指数级依赖，同时无需极小极大预言机或显式的偏好模型估计。我们进一步提出 Bonus-Explorer ENPO（BENPO），利用额外的预言机实现 $O(\log T)$ 的后悔界。最后，我们开发了 Direct ENPO（DENPO），这是 ENPO 的一种实用变体，用于微调 LLM。在多个基准上的实验表明，与所评估的 RLHF 和 NLHF 基线相比，使用 Llama-3-8B-Instruct 能够持续取得改进。