AgentSWE：编程智能体能构建出你真正想要的智能体吗？

随着软件生产逐渐交由软件自身完成，编程智能体越来越多地受托构建契合用户自身工作流程的智能体。这种委托隐含着一个假设：交付的智能体会忠实地满足其构建所依据的需求，而非仅仅看似如此。现有基准均未检验这一假设。我们提出 AgentSWE，这是一个面向智能体软件工程的基准，涵盖智能体开发生命周期的三个阶段：根据自然语言需求创建完整智能体、编辑生产环境中的智能体代码库，以及针对可衡量目标进行优化。其 25 项任务均被设定为委托项目，而非考试：构建者根据少量示例用例进行迭代，而验收则使用为覆盖完整需求而设计的留出用例，对冻结后的提交版本进行测试；在严格的通过／不通过门槛约束下，依据从需求推导出的评分标准评估其行为，或在优化任务中，依据原始基准自身的目标进行评估。我们对采用不同模型和运行框架的多种编程智能体进行了评估，发现没有任何一种能接近交付需求所要求的成果：构建者所展示的能力与实际交付结果之间存在差距，这才是常态，而非个别情况。配套的失败轨迹实证分析识别出反复出现的失败模式，包括对可见用例过拟合、看似完整的代码背后空洞的运行时实现，以及缺乏依据的完成声明。每一种模式都可作为反馈信号，帮助编程智能体学会构建真正符合委托要求的智能体。