采样、混合，还是验证？在不完美验证器下分配测试时计算资源

arXiv:2610.23255v1 公告类型：新 摘要：提高语言模型和智能体准确率的一种常见方法，是在推理时投入更多计算资源：生成许多候选解，并提交验证器更偏好的那个。要取得成功，既需要至少有一个候选解是正确的，也需要验证器选中它。前者会随着采样数量增加而可预测地提升；后者则不会，因为现实中的验证器（单元测试、多数投票、LLM 评判器、奖励模型）会接受错误答案、拒绝正确答案，并产生相关错误。在预算固定的情况下，实践者必须决定采样多少个候选、从哪些模型进行采样，以及在验证上投入多少资源；而如今这些选择通常依赖经验法则。我们提出 SPLIT，通过一个小规模的带标签试点来制定这些决策。SPLIT 建立在一个精确公式之上，用于计算在接受/拒绝式选择和最高分选择下提交正确答案的概率，并考虑任务难度的差异、不同模型共有的盲点，以及重复验证调用之间的相关性。SPLIT 采用经验贝叶斯方法拟合该公式，并利用它为未见过的任务规划预算。在涵盖数学、科学问答、代码和软件工程智能体的七个基准、26 个模型、175 个智能体系统以及六类真实验证器上——所有对象均来自公开发布版本——SPLIT 得出的资源分配与事后最优分配的差距仅为 0.02—0.8 个百分点，而我们测试的每一种固定规则在某些设置下的损失至少为 2.5 个百分点。其遗憾程度只取决于 SPLIT 对配置进行排序的效果；即使考虑计算成本、价格和延迟成本，以及在线场景，它仍然接近最优。该公式还解释了为什么增加 LLM 评判器的数量有时会降低精确率。作为一种远超试点范围的预测器，SPLIT 在验证器对成功率设有上限时优于幂律拟合；我们也报告了它表现不佳的情况。