使用直接纳什优化将语言模型与一般偏好对齐：一项实证研究

直接纳什优化（DNO）通过近似双玩家偏好博弈的纳什均衡，使语言模型与一般偏好函数对齐。其实际变体 DNO-Prct 依次进行在线采样、使用基于 LLM 的评分器将样本与教师的标准回答一同评分、大间隔偏好对选择，以及 DPO 风格的对比更新。我们独立重新实现了 DNO-Prct，并在两个开放权重指令模型 Llama 3.1 8B Instruct 和 Mistral 7B Instruct v0.1 上进行研究，同时分别使用 GPT-4o 或同系列更大的开放权重模型作为标注器。在 GPT-4o 担任评判者的 AlpacaEval 2.0 上，经过三轮迭代，Llama 相对于 GPT-4o 的长度控制（LC）胜率从 31.7% 提升至 45.3%，Mistral 的胜率从 6.8% 提升至 18.4%；调优后的 8B 模型在所有报告的胜率指标上都超过了 Llama 3.1 70B Instruct。使用同系列开放权重模型作为标注器时，相比使用 GPT-4o 作为标注器所获得的 LC 增益，这些运行分别保留了 62%（Llama）和 82%（Mistral），表明评分步骤并不需要专有模型。在单独的消融配置中，移除标准回答、移除数据回溯，或仅接受教师偏好的配对后，模型得分均比完整流程低 6 至 10 个 LC 点；相比之下，改变每个提示词的在线采样数量（1 至 7）最多使 LC 胜率变动 2.1 个百分点，而在独立流程中进行的间隔参数扫描（1 至 5）最多使其变动 2.4 个百分点。我们还报告了该流程的成本，以及实际算法偏离其所近似理论之处。所有结果均来自单次运行，且 GPT-4o 同时担任教师和评测裁判；我们讨论了这对所报告增益的含义。