FC-SWE：面向长时程软件工程智能体的失败条件化 RL

arXiv:2610.07898v1 公告类型：新 摘要：仓库级软件工程（SWE）是一个具有挑战性的长时程场景：智能体必须在长时间跨度的交互中进行推理、使用工具，并适应有状态环境。近期研究使用 Group Relative Policy Optimization（GRPO）等强化学习方法训练 SWE 智能体：针对每个问题独立采样多条轨迹，测试由此产生的补丁，并在固定组内比较终止奖励。然而，这种训练设置不会将失败补丁的验证器反馈作为后续尝试的上下文加以复用，尽管这些反馈包含了关于问题所在位置的宝贵诊断信息。恢复轨迹的训练颇具挑战，因为前一次结果决定下一条轨迹是否生成，而失败执行结果决定其条件上下文。我们提出 FC-SWE，一种将恢复尝试纳入策略训练的失败条件化强化学习框架。当补丁验证失败后，FC-SWE 会将仓库恢复到任务的原始状态，并使用失败补丁和验证器反馈作为恢复轨迹的上下文。FC-SWE 通过两种机制，将 GRPO 适配到这些由完整、多轮工具调用轨迹组成的链中。轨迹局部奖励保留每次尝试的验证器结果，避免恢复成功为此前失败的补丁提供奖励。主动集优势估计则从同一问题实际执行的所有初始轨迹和恢复轨迹中构建比较组，因此失败尝试仍保留在组内，而未执行的尝试则被排除。在验证器辅助协议下的全部 500 个 SWE-bench Verified 任务上，使用 Qwen3.5-4B 和 SWE-agent 的 FC-SWE 达到 41.7% 的 Resolved@1 和 52.8% 的 Resolved@2，而 GRPO 分别为 38.9% 和 48.5%。尽管训练时每条链最多仅包含两次尝试，FC-SWE 在测试时允许 11 次尝试的预算下达到了 70.7% 的 Resolved@11。