舍弃以获得更多：主导测试时计算资源分配的是先验，而非策略

arXiv:2611.06372v1 公告类型：新论文 摘要：当多个输入共享大语言模型（LLM）的重复尝试预算时，一种常见规则是为更难的输入分配更多预算。在公开的数学、代码和形式化证明样本上，对于模型能解出大部分题目的基准，已发表的最佳难度成比例分配规则能够获得理想分配增益的一半或更多；但在困难任务集上，即使给定真实通过率，也最多只能获得 13%。由于额外一次尝试的价值在中等难度时达到峰值，最优静态分配呈倒 U 形，对当前预算下无望解出的输入分配很少的资源。在对 221 篇 LLM 资源分配论文的严格调研中，至少有 13 篇为最难的输入分配了最多的尝试次数；这些论文中较容易的实验设置所采用的预算，恰好使这种做法接近最优，因此其代价在更困难的任务集上才显现出来。要据此采取行动，就必须知道哪些输入可解，因此增益由信息而非策略驱动。在具备验证器，并利用相关模型此前在相同输入上的运行结果构建先验时，Thompson Sampling 将最困难任务集的解题比例从 14% 提高至 27%；若没有这样的先验，我们测试的所有策略都无法超越轮询。对于我们测试的策略，当先验的秩相关系数降至约 0.3 至 0.55 之间时，增益便会消失，而低成本的基于文本的先验在最弱的模型上仅能勉强达到这一水平；此外，还要求验证器的错误接受率相对于通过率足够低。在新的 Qwen2.5 样本上，这一规律仍然成立，而弱化先验的影响可避免在简单任务集上出现性能损失。我们将这些结果整理成了一份决策指南。