揭示多目标对齐中的跨目标干扰

arXiv:2602.06869v3 公告类型：replace-cross 摘要：我们研究了大型语言模型（LLMs）多目标对齐中一种持续存在的失效模式：标量化训练仅改善部分目标，却使其他目标退化。我们将这一现象形式化为跨目标干扰，并据我们所知，首次对多目标 LLM 对齐中的标量化算法开展了系统性研究。研究表明，干扰普遍存在于各类算法中，但高度依赖于模型。为理解干扰如何产生，我们推导出一条局部协方差定律：在一阶近似下，一个目标改善还是退化，取决于其奖励与标量化得分之间协方差的正负。我们将这一定律扩展到现代强化微调中的裁剪代理目标，并证明它在温和条件下仍然成立。基于这一定律，我们提出了 COVariance-floor Enforced Reweighting（COVER），这是一种单侧控制器，仅在某个目标的奖励与裁剪后的优势权重之间的协方差低于设定阈值时，才提高该目标的权重。通过大量实验，我们发现 COVER 能够缓解跨目标干扰，同时在各目标已经共同改善的情况下，达到与线性标量化相当的表现。最后，为解释干扰为何依赖于模型，我们以全局收敛性分析补充了局部协方差定律。该分析给出了非凸标量化目标满足 Polyak--\L{}ojasiewicz 条件的充分条件，并将干扰与模型几何结构联系起来。