Multi-step SWE：编程智能体能否长期持续在自己编写的代码上进行开发？

开发者很少只向编程智能体提出一次请求：他们会先要求它构建一个组件，随后再扩展、升级和优化该组件，每次都基于智能体自己编写的代码。然而，大多数基准测试每次只评估一项任务。我们推出 Multi-step SWE，这是一个面向长期持续开发的基准测试，包含 69 项软件工程任务，每项任务都由针对同一代码库的 5 至 15 个相互依赖的步骤组成。每个步骤都是一项完整的、需要数小时完成的工程请求，并以智能体在此前步骤中生成的代码为起点，因此早期的设计决策和错误都会延续到后续步骤中。这些任务涵盖四类工程工作和九种编程语言，既包括从零开始构建，也包括基于现有开源代码库进行开发；每个步骤都以现有的权威依据为基础，据此定义指令及其验证程序。在九个前沿模型中，表现最强的模型的任务解决率也仅为 18.5%，而 69 项任务中有 38 项未被任何模型解决。我们已在 https://multistepswe.com 公开发布 Multi-step SWE。