TasteVal：衡量 AI 系统相较于人类专家的实验研究品味

我们推出 TasteVal，这是一项用于评估前沿模型实验研究品味的基准测试。我们将研究品味定义为选择有趣问题进行解决、设计实验以及解读实验结果的能力。TasteVal 衡量的是研究品味中的实验部分：在给定固定研究问题的情况下，我们评估模型迭代设计实验并根据实验结果得出结论的能力。我们将实验研究品味具体定义为计算效率：如果一名 Researcher 使用一半的串行实验计算量，达到了与人类专家相同的分数，那么其实验研究品味就是专家的两倍。因此，实验品味相当于实验计算量的乘数，是预测 AI 进展的关键输入。TasteVal 包含 8 个新颖、具有挑战性且开放式的任务，代表前沿 AI 研发。为了将品味与编码能力区分开来，被评估模型充当 Researcher，迭代设计实验；一个固定的 Coder 代理负责实现这些实验并报告结果。Researcher 持续执行任务，直到 40 个 H100 小时或 120 个实际时钟小时的预算耗尽。我们招募了 24 名人类专家，每项任务至少 2 人，并将每项任务中专家表现最佳的尝试作为专家基线。我们评估了 20 个于 2023 年至 2026 年间发布的模型。表现最佳的模型 Opus 5.5 超过了我们的专家基线，其计算乘数为 2.3 倍（95% 置信区间：1.15–4.37），而每次运行的成本约为基线参照者平均成本的 1/30。在 TasteVal 上，自 2025 年 12 月以来，前沿模型的计算乘数大约每 3.0 个月翻一番（95% 置信区间：1.7–5.0），而在 2023 年至 2025 年 12 月期间则是每 14 个月翻一番。以最终归一化性能衡量，前沿模型没有出现趋势断点，仍以每 14.6 个月翻一番的速度增长。为避免 TasteVal 受到污染，我们不公开这些任务。