在它们能够解决问题之前：从基础模型预测后训练后的编程智能体性能

我们如何预测哪个基础模型检查点值得投入一轮昂贵的智能体后训练？端到端 pass@$K$ 检验成功行为是否已经出现在基础模型的分布中，但它并不适合智能体编程：许多基础模型检查点无法可靠地生成格式正确的工具调用，而这是端到端完成任务所必需的。单次或短程任务将多步交互压缩为固定提示和单个补丁，从而避开这些工具调用失败，但也绕过了我们真正关心的核心能力：随着代码仓库不断演变，在多个使用工具的步骤中维持连贯状态。为弥合这一差距，我们将后训练智能体的成功轨迹视为基础模型潜力的前瞻信号。通过重放每条轨迹，并在每个修改代码的步骤后重新运行测试，可以识别出决定性步骤：即累积补丁首次使代码仓库从测试失败转为通过的步骤，从而确认在给定先前上下文的情况下，所记录的动作能够解决任务。受智能体轨迹覆盖原则的启发，我们围绕这一步骤构建了三种筛选方法，它们均不要求基础模型检查点从冷启动开始驱动评测框架：(i) Decisive-Action BPB（每字节比特数）衡量已验证动作上的概率质量；(ii) Patch MCQ 测试检查点在该动作与被同一验证器否决的备选动作之间的选择；(iii) 以前缀为条件的 pass@$K$ 评估模型生成分布对功能正确结果的支持程度，并将任何通过测试的续写计为成功。在十对公开的基础模型与后训练模型中，这三种筛选方法对模型组给出的排名均与后训练模型的 SWE-bench Verified pass@$1$ 排名高度一致。由于我们的方法仅需要基准测试中的成功轨迹及其验证器，因此可以用来将未来的智能体编程基准转化为基础模型评估。