智能体的最后一场考试

arXiv:2606.05405v3 公告类型：replace-cross 摘要：近期，AI 系统在众多基准测试中取得了优异成绩，但这些进展尚未转化为众多专业领域中具有经济意义的实际部署。我们认为，这一差距在很大程度上源于评估问题：广泛使用的基准缺乏对真实且具有经济价值的工作流程的持续性能衡量。本文介绍 Agents' Last Exam (ALE)，这是一个旨在评估 AI 智能体完成长周期、具有经济价值且结果可验证的真实世界任务的基准。ALE 与 250 多位行业专家合作开发，涵盖参照 O*NET / SOC 2018（美国联邦职业分类体系）界定的非体力劳动行业。其任务分类体系包含 55 个细分领域，归为 13 个行业集群，覆盖 1,000 多项任务。当前结果表明，最困难层级仍远未达到性能饱和：在各种主流运行框架与骨干模型配置下，平均完全通过率低于 1%。ALE 被设计为一个持续演进的基准：随着新工作流程和行业的纳入，其任务池不断扩展。更广泛而言，ALE 不仅旨在提供又一个排行榜，更希望成为缩小基准测试成功与 GDP 相关实际影响之间差距的工具。