DeliverBench：评测 AI 智能体交付真实多阶段专业项目的能力

LLM 智能体的评判依据是其交付成果，而在专业工作中，交付的是项目，而非单个任务。只有整套成果都经得起检验，项目才能产生价值；一个薄弱环节就可能限制其余部分的价值。然而，现有基准大多一次只测试智能体完成单个任务的能力，导致我们衡量的能力与真正让智能体发挥作用的成果之间存在差距。为弥合这一差距，我们推出了 DeliverBench，用于测试智能体能否将项目从需求简报推进至最终交付。该基准包含 11 个项目，涵盖财务尽职调查、法律合同起草和药物安全报告，由 13 位领域专家基于真实材料共同重构，并通过 2 至 15 轮新材料和客户反馈，将 150 个子任务串联起来。由于不注入任何参考输出，智能体会将自身在前一个任务中的错误带入后续任务。随后，依据专家制定的评分细则，对每个检查点及最终整套交付成果进行评分。在七个模型与运行框架组合系统中，即使表现最好的系统，最终交付得分也仅为 65.0 分（满分 100 分），以 90 分为通过门槛时，子任务通过率仅为 50.0%。失败往往发生在持续推进工作的过程中：在一个审计项目中，七个系统都处理了审查发现的问题，但只有一个保留了可追溯性。综合来看，这些结果表明，任务层面的能力并不能简单组合成交付能力；交付还取决于能否在工作不断推进的过程中保持成果的连贯一致。