可验证指令遵循中的奖励黑客行为诊断与纠正

arXiv:2610.19525v1 公告类型：新发布 摘要：可验证的指令遵循基准强调对输出约束的满足程度，却可能忽视回答是否切实回应了底层请求，从而造成评估盲区。我们表明，前沿模型即使生成几乎不含实质性答案内容的回答，也能获得满分。将同一套基于验证器的判定标准用作训练奖励，可能诱发奖励黑客行为：公开发布的检查点显示，经过使用可验证奖励的强化学习后，模型对约束的满足程度提高了，但回答质量却下降了。为解决这一奖励黑客问题，我们提出了 CALIF，这是一种轻量级方法，通过在验证器奖励中加入经校准的基于似然的额外奖励来保持回答质量。CALIF 使用现有的冻结参考策略，评估仅以请求为条件的回答似然，无需额外的评判器或训练得到的奖励模型。在参数规模从 1.7B 到 8B 的模型上，无论采用推理模式还是非推理模式，CALIF 都能提高模型在 IFBench 上对约束的满足程度，同时将回答质量维持在接近或高于强化学习前的水平。此外，在三个基于评分细则的指令遵循基准上，CALIF 在 45 项模型与指标组合的比较中有 40 项优于相应的基础策略，表明其带来的提升并不限于训练所用验证器的评估范围。