Argo-Bench：评估数据智能体处理企业级工作流的能力

现实世界中的企业数据科学和分析工作流需要跨越数十张表进行推理、执行统计分析，并根据结果采取行动。现有的文本到 SQL 基准测试仅评估查询生成能力，而审计发现其答案标准往往存在错误。由于真实企业数据仓库过于敏感，无法公开发布，这些基准测试通常建立在公共数据集之上，其中一个业务事件只需存储在一张表中。我们推出 Argo-Bench，这是一个包含 210 项数据科学和分析任务的评估框架。基于公共数据、经过同行评审的行业文献和监管申报文件，我们按真实规模模拟了一个位于纽约市的外卖平台：该平台在 2024 年处理 8100 万笔订单，拥有符合实际的经济机制、欺诈模式和市场激励机制。我们将这一世界导出到一个包含 235 张表和 75 亿行数据的 ERP 数据仓库中，其模式参考 Oracle E-Business Suite。模拟器中的真实状态不会提供给智能体所看到的数据仓库，因此任务要求智能体先在数据仓库中导航并重建事实，再据此采取行动。Argo-Bench 不止于文本到 SQL：智能体需要提交诸如封禁欺诈账户、分配配送员激励预算或补发欠薪等操作，评分器则根据这些操作在模拟器中产生的后果进行评分。每项任务都有一个可执行的参考解决方案，证明仅使用数据仓库即可完成任务。在 14 个前沿模型和开放权重模型中，表现最强的模型仅在 34.8% 的任务中取得 95 分或更高的成绩，平均得分为 59.5 分。我们希望 Argo-Bench 能推动智能体不断进步，使其能够理解、导航并在真实数据环境中采取行动。