DAYJOB：长期专业工作基准测试

专业工作通常始于一项简短请求，专业人员需要自行判断需要完成什么、哪些文档至关重要，以及请求的前提是否成立。我们推出 DAYJOB，这是一个包含 130 项任务的基准测试，其中 50 项由医疗保健领域的专业人员构建，80 项由金融领域的专业人员构建。据估计，医疗保健领域的专业人员平均需要 13.6 小时完成每项任务，金融领域则需要 16.6 小时。每项任务都是一个容器化的 Harbor 环境，并配有由专家制定的二元评判标准（每项任务的中位数分别为 47.5 条和 57.5 条）；智能体评审器会依据这些标准评估交付的文件，只有满足全部标准的尝试才能通过。在来自 13 家开发者的 30 种模型配置中，表现最强的 Claude Opus 5.5 在医疗保健和金融领域的尝试通过率分别为 24.7% 和 23.9%，而中位数配置的通过率分别为 0.6% 和 2.5%。案例研究表明，智能体会接受与记录相矛盾的前提，并将错误输入带入其他方面保持一致的分析中。我们发布全部医疗保健任务、80 项金融任务中的 50 项、评估工具链以及排行榜。