CATCH：用于研究编程 RL 中奖励劫持的可控分析测试平台

arXiv:2609.39533v2 公告类型：替换交叉版本 摘要：在具有可验证奖励的强化学习（RLVR）过程中，大语言模型（LLMs）可能会利用环境中的漏洞，在未提升预期能力的情况下获得高奖励，即奖励劫持。尽管奖励劫持会对训练效率和安全性造成风险，但由于缺乏能够复现奖励劫持并可靠识别它的测试平台，在训练过程中对其进行监控和缓解仍然充满挑战。我们推出了 CATCH，这是一个用于研究编程 RL 中奖励劫持的可控测试平台。CATCH 有意暴露环境漏洞，并通过比较模型在存在漏洞的评估器下的成功情况与独立审计得出的任务正确性，提供基于执行结果的金标准标签。它还可以通过监督微调数据混合控制模型初始的奖励劫持倾向，并通过奖励设计控制获取奖励的难度，从而能够系统地比较奖励劫持的动态过程及干预措施。实验表明，CATCH 能够生成多样化的 RL 训练轨迹，并清晰呈现奖励劫持现象；分析结果显示，初始模型和奖励难度都会影响奖励劫持的出现。我们进一步评估了不同奖励劫持检测与缓解方法的有效性。一项关键发现是，思维链监控器最初能够抑制奖励劫持，但随着策略模型学会通过代码注释误导监控器，这种保护作用会逐渐减弱。这凸显了使用 CATCH 在整个训练过程中评估奖励劫持缓解措施的必要性。源代码和相关资源已公开发布于 https://github.com/THUAIS-Lab/CATCH。