当评分与偏好冲突时：DPO 中约束漂移的对齐前诊断与自适应校正
When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO
精选理由
提出可由数据预判约束漂移的指标与自适应 DPO 方法，帮助兼顾偏好学习和答案质量、安全等约束。
AI 摘要
arXiv:2611.07375v1 公告类型：新论文 摘要：直接偏好优化（DPO）越来越多地应用于成对偏好与逐点评价标准并存的场景，例如回复长度、答案正确性或安全评分。当二者不一致时，标准 DPO 会将偏好输出在逐点评价标准上得分较差的样本对（冲突对），与其余样本对（一致对）同等对待。我们刻画了一种系统性失效模式，即约束漂移：当更新足够小时，冲突对往往会增加约束代价，而一致对往往会降低约束代价，净变化则取决于二者的平衡。这种平衡关系导出了一个具有闭式表达式的对齐前诊断指标 $\rho^{*}_{\mathrm{eq}}$，可根据数据集统计量计算，用于判断数据集能否自我校正，或是否需要干预。基于这一诊断指标，我们提出 Conflict-aware DPO（CoDPO）：根据 $\rho^{*}_{\mathrm{eq}}$ 设定而非通过调参确定降权强度，以降低冲突对的权重，并引入自适应间隔偏移，以处理训练期间的残余漂移。实证结果表明，在冲突占主导的领域中，漂移随冲突暴露程度的增加而单调增大；$\rho^{*}_{\mathrm{eq}}$ 给出的干预决策与每个领域中观测到的漂移均相符，其中也包括被该指标判定为可自我校正的一个领域。在主要对比的全部四个领域中，CoDPO 均减少了漂移，同时在很大程度上保留了原始 DPO 的偏好学习能力。与硬过滤以及近期的约束优化和多目标优化基线相比，CoDPO 也在漂移与偏好之间实现了更有利的权衡。