反事实 Rollout Replay：可分叉环境作为软件工程智能体的免费过程奖励

仅结果强化学习为软件工程（SWE）智能体提供终端成功信号，但对中间决策几乎没有直接指导。我们引入 Counterfactual Rollout Replay（CRR），这是一种训练时过程，利用可分叉的可执行环境来获得步骤级回报对比。CRR 选择一小组决策点，恢复每个状态，采样一个替代动作，并在该策略下将该分支向前 rollout。它保留已实现的训练轨迹，并将所选步骤的优势替换为其终端回报与采样得到的反事实回报之间的差值。该方法不需要人工过程标签或学习得到的过程奖励模型；免费指的是这些监督成本，而非 replay 计算成本。使用 14B 策略时，CRR 在 SWE-bench Verified、SWE-bench Live 和 SWE-rebench 上提升了 pass@1，并且可与过程奖励和轨迹搜索方法结合。在 SWE-bench Verified 上，在相同硬件上进行等墙钟时间比较，得到 41.7% 对 36.7% 的结果，相比延长的仅结果 GRPO 提升 5.0 个百分点，且已计入分叉开销。这些结果适用于能够以可承受成本可靠恢复状态的环境；随机续接以及昂贵或不完美的 replay 仍然是局限。