SimHack：在 RL 训练之前预测可检测奖励劫持的开始

arXiv:2610.28707v1 公告类型：新 摘要：在使用强化学习训练 LLMs 编写代码时，奖励劫持通常是可以检测到的，但很难加以预防，原因在于：(a) 随着训练环境变得更加复杂，加固环境的难度不断增加；(b) 训练期间的干预会激励模型对劫持行为进行混淆，以绕过检测。我们转而研究这样一个问题：在执行 RL 运行之前，能否预测可检测的奖励劫持何时会占据主导地位，从而提前选择风险较低的训练方案。我们发现，仅凭初始劫持率无法决定其开始时间；在不同训练方案和重复运行之间，开始时间存在显著差异。因此，我们将该问题表述为：预测目标训练方案下奖励劫持开始步骤的分布。我们提出 SimHack，这是一种从少量小规模参考 RL 运行中学习奖励劫持训练动态的模拟器，能够生成未见过的目标训练方案的反事实模拟运行，而无需进行代价高昂的重新训练。在未见过的目标训练方案上，SimHack 对开始时间中位数的预测相对误差为 11.3%，并取得了跨方案 0.85 的秩相关系数；同时，它还能泛化到参考方案与目标方案在模型规模、课程、rollout 数量和学习率方面的差异。作为应用示例，我们展示了 SimHack 如何通过筛选候选 RL 课程来指导训练决策，并在同一组场景上发现了能够在不发生奖励劫持的情况下延长训练时间 96.6% 的课程。