关于 AI 时间跨度的估计与有效性——对 METR 图的统计考察

arXiv:2610.12466v1 公告类型：交叉发布 摘要：METR 的 50\% 时间跨度衡量的是人类完成某类软件任务所需的时间，而 AI 解决这类任务的概率为 50\%，从而使 AI 能力能够用易于理解的单位来表达。基于 228 项任务和 26 个 AI，我们使用样条和项目反应理论重新计算时间跨度，以放宽任务对 AI 的难度与人类完成时间的对数呈线性关系这一假设。我们拟合的样条可解释为一个将人类完成时间\emph{转换}为 AI 任务难度的函数；该函数在 2–30 分钟区间内几乎平坦，而在其他区间则接近线性。因此，尽管同样增长了 $10 \times$，时间跨度从 3 分钟跃升至 30 分钟，远比从 30 分钟跃升至 5 小时容易。总体而言，我们提供了在一套经交叉验证的适当评分规则下表现更好的时间跨度点估计，以及用于评估时间跨度构念效度的诊断图。我们建议结合诊断图来解读时间跨度，尤其是在提出新的基于时间跨度的基准，或扩展现有基准以纳入耗时更长的任务时。