TPO：面向 OOD 直接偏好优化的三层分布鲁棒学习

arXiv:2610.28229v1 发布类型：new 摘要：直接偏好优化（DPO）在观测到的偏好比较上最小化经验风险，隐式地假设训练偏好分布与部署时的偏好分布相匹配。实际上，这一 i.i.d. 假设往往并不成立，因为偏好分布偏移在三个层级上呈现出自然的层次结构：群组层级偏移、提示词层级偏移和偏好层级偏移。这种多层级分布不匹配对 LLM 的安全部署构成了关键挑战，但现有的鲁棒 DPO 方法通常要么对联合偏好分布上的不确定性进行建模，要么仅关注某一单独的偏移来源，因此对 OOD 偏好偏移的层次结构探究不足。我们提出 TPO，一种面向 OOD 偏好对齐的三层分布鲁棒框架。该框架通过具有层次结构的矩形歧义集，对三个层级的分布不确定性进行联合建模。通过采用 Wasserstein 距离，我们推导出一个既易于处理又具有可解释性的目标函数，该目标函数结合了闭式偏好层级间隔惩罚、提示词层级对抗性嵌入扰动以及最坏情形下的群组重加权，并分别由独立的半径控制。我们建立了有限样本收敛保证，并通过实验证明了 TPO 相较于现有鲁棒 DPO 方法的有效性。