将基准视为软件：Terminal-Bench 与持续演进基准的必要性

编程智能体是迄今为止大语言模型在经济层面影响最为重大的应用之一，因此可靠的评估变得日益重要。然而，即使在发布时经过仔细验证的基准，也可能变得过时。随着模型能力提升，它们可能发现现有验证器拒绝接受的有效解法，而评估基础设施的变化也可能使任务和测试中隐含的假设失效。我们将由此产生的缺陷累积称为“基准维护债务”：基准分数与其旨在衡量的能力之间不断扩大的差距。我们提出了一套面向智能体基准的持续验证工作流，结合了社区报告、任务产物、智能体执行轨迹、自动化判定检查以及经人工审核后实施的修复。我们将这一工作流应用于 Terminal-Bench 2.0，该基准在发布前经过了广泛的人工及语言模型辅助审查与红队测试。我们的审计发现，该基准中约 30% 的内容存在问题，我们将修复后的版本作为 Terminal-Bench 2.1 发布。这些修复改变了评估结果：准确率提高了超过 10 个百分点，排行榜名次最多变动了三位，但整体排名仍保持高度相关（Spearman rho = 0.958）。我们评估了资源分配如何影响基准测试结论。我们表明，固定的实际运行时间限制可能显著改变智能体的表现：例如，延长时间限制消除了 GPT 5.4 在不同执行框架下的 20 个百分点差距，并将 GPT 5.4 mini 的 30 个百分点差距缩小至 5 个百分点。因此，基准维护不仅仅是修复任务产物：资源预算也是测量规范的一部分，必须与任务本身一同验证。更广泛地说，基准维护债务并不只是累积的实现缺陷：我们的结果表明，随着模型能力提升，评估假设和资源设置都可能需要重新验证。