超越成对比较：你的语言模型正在暗中优化偏好图

arXiv:2605.08037v2 公告类型：替换 摘要：直接偏好优化（DPO）利用成对偏好比较来对齐语言模型，为基于人类反馈的强化学习（RL）提供了一种简单有效的替代方案。然而，在许多实际场景中，训练数据包含每个提示对应的多个采样输出，由此形成了丰富的偏好结构，而成对 DPO 无法利用这些结构。将此类数据简化为相互独立的样本对会丢弃传递性，引入冗余或冲突的监督，并可能导致优化不稳定。我们提出 Graph Direct Preference Optimization（GraphDPO），这是 DPO 的一种结构化推广，在由采样输出排名形成的有向无环偏好图上进行优化。GraphDPO 将支配关系编码为边，并优化一个受 Plackett--Luce 启发的图结构目标函数，该目标函数在被支配邻域上聚合监督信息，传播输入偏好的传递结构，同时将标准 DPO 涵盖为一种特例。GraphDPO 通过等价类构造自然地处理偏好并列和不可比较的回答：具有相同偏好信号的回答构成图层，不可比较的回答共享同一层且彼此之间不连边，不存在的边对损失的贡献为零，从而避免严格全序目标函数产生的伪梯度。在这种分层构造下，GraphDPO 通过高效的 log-sum-exp 聚合，将每个提示的计算复杂度保持在线性水平。我们进一步引入可选的真实答案锚定机制，将经过验证的解作为支配节点插入，并采用退火调度，在稳定早期训练的同时逐步放松预言机监督。在推理和程序合成任务上的实验表明，该方法具有更优的性能，说明图结构偏好建模是一种可扩展且稳健的方案，可替代成对和列表式对齐目标。