比任务本身更难：AI 基准测试中从技术难度到组织难度的转变

AI 基准测试在衡量 AI 系统执行认知和技术要求日益提高的任务的能力方面取得了显著进展。然而，许多此类基准测试将技术任务作为分析单位，而大量具有经济价值的工作是在组织内部开展的，其中的任务嵌入于一个关系系统之中。在组织内部，成功完成任务不仅取决于能否满足任务的技术要求，还取决于能否在任务进行过程中应对活动之间的相互依赖、分散的知识、差异化的权限、时间约束、利益冲突以及不断变化的环境条件。因此，我们认为，组织情境下的任务难度构成了 AI 能力的一个独立且尚未得到充分认识的维度，而现有的基准测试方法不足以全面评估 AI 智能体在现实世界组织工作中的表现。借鉴组织理论，我们提出了一套工作结构分类体系，用于刻画智能体在组织工作中面临的条件。运用这一分类体系分析现有基准测试后，我们发现，它们对组织维度的覆盖既有限又不均衡，声称涵盖其中任何一个维度的主流基准测试不足四分之一。因此，我们主张，AI 基准测试应逐步超越对技术难度较高的任务的评估，转向系统评估智能体应对组织条件的能力，因为具有经济价值的工作正是在这些条件下开展的。