在智能体编程任务上进行 RL 的跨基准迁移

arXiv:2610.00890v1 公告类型：新 摘要：编程智能体常常在最后一步功亏一篑：它们完成了大部分功能，却遗漏了一项要求；只测试实现已经能够处理的情况；破坏原本应保持不变的行为；或者依据未经核验的假设进行验证。我们探究了在专家构建的智能体编程任务上进行强化学习（RL）能否弥合这一差距，以及智能体所学内容能否迁移到训练分布之外。我们仅使用 RL 对 Kimi K2.7 Code 进行后训练。这是一个拥有 1T 参数（32B 激活）的开放权重混合专家模型，训练数据包含 1,700 个任务：其中 1,000 个为仓库任务，根据隐藏的 fail-to-pass 测试和针对现有行为的 pass-to-pass 测试进行评分；700 个为终端任务，根据专家编写的隐藏验证器进行评分。奖励是通过的目标检查项所占的比例；如果任一 pass-to-pass 测试失败，奖励则降为零。在三个智能体框架上进行评估时，使用秩为 32 的 LoRA 适配器执行一轮 GSPO，使六个外部基准上的 pass@1 均得到提升：SWE-Bench Pro（60.1 提升至 64.8）、DeepSWE（31.0 提升至 43.4）、Terminal-Bench 2.1（67.4 提升至 82.0）、Terminal-Bench 3（1.4 提升至 12.1）、Terminal-Bench 4（0.0 提升至 7.6）以及 SWE-Marathon（5.0 提升至 25.0）。将五个相互独立的任务集汇总后（Terminal-Bench 4 修订了 Terminal-Bench 3），提升具有统计显著性（p < 0.001）；在训练数据收集之后发布的三个任务集上，提升仍具有显著性（p = 0.004）。在训练中从未使用的两种智能体框架上，模型同样取得了提升。在 DeepSWE 和 Terminal-Bench 3 上，中位数轨迹的智能体步骤数缩短了 24%–35%。基础模型在 DeepSWE 上失败的运行大多属于差一点成功的情况；而在训练模型新解决的任务中，成对轨迹显示，它避开了上述四种失败模式中的每一种。