AgentSWE：编码代理能构建出你真正想要的代理吗？

arXiv:2610.13361v1 公告类型：cross 摘要：随着软件的生产逐渐转由软件本身完成，编码代理越来越多地受托构建适配用户自身工作流的代理。这种委托隐含着一个未被明说的假设：交付的代理将忠实地满足其构建所依据的需求，而不只是表面上看起来满足。现有的基准测试中没有任何一个检验这一假设。我们推出 AgentSWE，这是一个涵盖代理开发生命周期三个阶段的代理软件工程基准：根据自然语言需求创建完整代理、编辑生产环境中的代理代码库，以及朝着可度量目标进行优化。其中的 25 项任务均被设计成委托，而非考试：构建者根据少量示例案例进行迭代，而验收则在保留案例上测试冻结后的提交，这些案例旨在覆盖完整需求，并依据从需求中推导出的评分标准对行为进行评估；评估采用严格的通过/失败门槛，或者在“优化”阶段依据源基准自身的目标进行评估。我们在不同模型和工具框架上评估了多种编码代理，发现没有任何一个能够接近于交付需求所要求的结果：构建者所展示的能力与其实际交付成果之间存在差距，这并非偶发现象，而是普遍情况。配套的失败轨迹实证分析识别出了一些反复出现的失败模式，包括对可见案例过拟合、代码看似完整但运行时内容空洞，以及毫无依据地宣称已完成；这些都可以作为信号，帮助编码代理学习如何构建受托要求它们构建的代理。