Multi-step SWE：编程智能体能否在长时程中持续基于自己编写的代码进行开发？

arXiv:2611.07166v1 公告类型：交叉收录 摘要：开发者很少只向编程智能体提出一次请求：他们会要求它构建一个组件，然后对其进行扩展、升级和优化，每次都基于智能体自己编写的代码。然而，大多数基准测试每次只对单个任务进行评分。我们提出了 Multi-step SWE，这是一个包含 69 项软件工程任务的长时程基准测试，每项任务都是在单一代码库上由 5 至 15 个相互依赖的步骤组成的任务链。每一步都是一项完整、需要数小时完成的工程请求，并以智能体在此前步骤中生成的代码为起点，因此早期的设计决策和错误会延续到后续步骤。这些任务涵盖四类工程工作和九种编程语言，既包括从零开始的构建，也包括基于现有开源代码库的开发；每一步都以现有的权威依据为基础，用于定义该步骤的指令及其验证器。在九个前沿模型中，表现最强的模型也仅达到 18.5% 的解决率，且 69 项任务中有 38 项未被任何模型解决。我们在 https://multistepswe.com 公开发布了 Multi-step SWE。