成本约束下语言模型响应的在线验证

arXiv:2610.02632v1 公告类型：新 摘要：随着大语言模型日益被用于多步推理，验证其输出的正确性对于大规模部署时维持可靠性变得至关重要。验证大语言模型输出的正确性通常需要查询成本高昂的真实值预言机，而在在线场景中每一步都调用该预言机并不现实。已有工作通过在每一步查询一个单一的弱验证器，并利用其评分决定是否还需要查询成本高昂的强验证器来解决这一问题，从而仅在少数步骤中进行强验证。然而，随着输入查询的主题或难度随时间变化，单个固定的弱验证器可能无法始终保持良好表现，预先选定一个验证器则可能导致验证成本过高或准确性不足。我们提出 OMVV（Online Multi-Verifier Verification），一种维护由 $K$ 个候选弱验证器组成的池化算法。这些验证器具有不同的成本和验证性能；OMVV 通过在线评分组合器和指数加权路由策略，自适应地将每一轮的决策路由给选定的验证器。OMVV 针对整个验证器池中的误接受率和误拒绝率，提供与分布无关的有限时间保证；此外，在综合成本与一致性的目标下，相较于事后看来表现最佳的固定验证器，OMVV 还能实现次线性遗憾。推理数据集基准上的实验表明，在一系列运行预算下，与任何单一固定验证器相比，OMVV 都能以更低的验证成本实现更高的准确率。