多奖励劫持：从聚合诱导漂移到信任锚定防御

arXiv:2610.21404v1 公告类型：新增 摘要：为了提升任务性能，同时鼓励理想的响应属性，LLM 后训练通常会将主要奖励（例如正确性）与辅助奖励（例如简洁性或效率）结合起来。然而，这些奖励如何聚合会对训练结果产生关键影响。我们表明，对称聚合将各奖励通道等同对待，可能导致这样一种失败：尽管聚合奖励有所提升，主要任务性能却出现下降，即使各个单独的奖励都具有实际意义。我们通过单步多奖励决策形式研究这种聚合诱导的失败，并刻画其何时构成多奖励劫持。我们证明，在对称聚合下，无论初始化如何，当辅助奖励更容易可靠地获得时，确定性条件均值 GRPO 都会收敛到偏好辅助奖励的行为。我们提出信任锚定门控（TAG）方法：首先根据单独优化各奖励通道所诱导的策略漂移来选出锚定通道，然后以是否满足锚定通道为条件，为辅助奖励分配信用。不同于对校准敏感的静态重加权，TAG 从结构上消除了仅获得辅助奖励结果的信用，同时保留联合成功所带来的额外信用。在相同的分析设定下，我们证明，当主要通道被设为锚定通道时，TAG 能够逆转这一选择过程：无论初始化如何，最终都会收敛到偏好主要奖励的动作。在 Qwen 和 Llama 模型上针对数学与程序合成任务开展的实验表明，在对称、受约束和归一化聚合下，性能都会显著下降，而 TAG 能够缓解这一失败。在使用简洁性奖励的 Qwen3-4B 上，TAG 的 pass@4 达到 0.581，而加法聚合仅为 0.220；相较于仅使用正确性进行训练，响应长度缩短了 44%。