StebBench：诊断 AI Agents 对现实世界程序性知识的理解

对于开放领域任务，评估 Agent 的规划能力仍然具有挑战性，因为通过执行来验证程序通常并不现实。现有评估通常只考察最终计划，无法区分遗漏、错误或动作顺序不当等程序性错误。我们推出 STEPBENCH，这是一个包含 6,885 个经验证程序的基准，数据从 wikiHow 中抓取，涵盖 81 个开放领域类别。对于每个程序，我们构建了 5 项诊断任务：其中 4 项涉及被隐藏、错误或打乱顺序的步骤，答案具有确定性；另 1 项要求生成下一步。我们还评估完整计划生成，以考察诊断性能与端到端计划有效性之间的相关性。在不同任务中使用相同的程序，使我们能够直接比较不同的规划能力。对于生成任务，STEPEVAL 会识别阻碍目标完成的关键失败。通过对 12 个模型的 14 种配置进行评估，我们发现不同规划能力之间存在显著差异，其中步骤排序最为困难：最强模型仅能正确排列 63.0% 的程序；对于包含 9 个或更多步骤的程序，这一比例降至 33.1%。错误步骤检测还能预测不同模型所生成计划的评判有效性，表明这是一种评估生成质量的低成本替代方案。在包含 214 个于 2026 年发布的程序的 STEPBENCH-Val 上，理解得分和排名仍保持稳定，说明记忆的影响有限。