关于 AI 时间跨度的估计与有效性——对 METR 图表的统计学考察

METR 的 50\% 时间跨度衡量的是：AI 以 50\% 的概率完成软件任务时，人类完成该任务所需的时间，从而使 AI 能力能够用易于理解的单位表示。在 228 项任务和 26 个 AI 上，我们使用样条和项目反应理论重新计算时间跨度，以放宽“任务的 AI 难度取决于人类完成时间的对数且二者呈线性关系”这一假设。我们拟合的样条可以解释为一个将人类时间“转换”为 AI 难度的函数；该函数在 2--30 分钟的区间内几乎是平坦的，但在其他区间则接近线性。因此，时间跨度从 3 分钟跃升至 30 分钟，要比从 30 分钟跃升至 5 小时容易得多，尽管二者的倍数均为 $10 \times$。总体而言，我们提供了在一套交叉验证的适当评分规则下表现更佳的时间跨度点估计，以及用于评估时间跨度构念效度的诊断图。我们建议结合诊断图来解读时间跨度，尤其是在提出新的基于时间跨度的基准，或现有基准扩展以纳入更长任务时。