语言模型能从测试时计算中获得多大提升？

arXiv:2610.01110v1 公告类型：new 摘要：测试时计算能在多大程度上提升语言模型，其代价又是多少？测试时扩展通常被视为更大模型的替代方案，但现有比较大多一次只评估一个领域，而且很少将候选选择计入预算。我们推出 SELF-POT，这是一个基准测试与评估框架，用于衡量模型在竞赛数学、竞技编程和智能体工作流中的测试时潜力。SELF-POT 在静态任务上将候选覆盖率与最终准确率分开，跟踪修订过程中的正确性变化，并在智能体环境中同时衡量协议完成情况与任务成功率。在统一的预算规则下，它将 Direct 推理与并行采样及自我修订进行比较，后两者的预算固定为 Direct 预算的若干倍；同时，以美元计费每次模型调用，包括选择和批评调用。该设计支持两类比较：模型从额外推理中获得的提升，以及较低成本模型通过额外推理与更强模型之间的比较。在 350 个密封任务上对五个低成本推理模型进行评估，并以 Claude Opus 5.5 Direct 作为参照后，我们发现，收益取决于领域、选择规则和失败处理方式。在重放保留的编程候选池时，基于公开样例进行选择，使 500 个计划单元格中的正确提交数从 376 个提高到 453 个，同时在不同模型上节省 12%–49% 的逻辑 API 成本；而在评判失败时简单保留一个可用候选，则能在成本不变的情况下挽回 61 个提交。在相同的数学候选池上，带回退机制的评判得到 186 个正确提交，而投票得到 182 个；但投票可节省 12%–21% 的逻辑 API 成本。这些受控重放展示了选择和失败处理如何改变从相同生成候选中获得的收益，并量化了模型评判器的边际价值。