测试时自我博弈:无需验证器的扩展
Test-Time Self-Play: Scaling without a Verifier
精选理由
介绍无需正确性验证器的自我博弈推理扩展方法,在代码任务上无验证器时准确率提升 35%。
AI 摘要
测试时扩展方法在部署阶段投入额外的计算资源,以提升大语言模型在困难目标问题上的表现。大多数方法依赖验证器对候选解的正确性进行评分,并据此选择或改进模型的输出。然而,在许多部署场景中,并不存在能够有效评判目标问题的强验证器。我们提出 Test-Time Self-Play(TTSP),这是一种利用非对称自我博弈进行测试时扩展的方法,不依赖验证器。在 LiveCodeBench v6 的一个经过难度校准的子集上,TTSP 在我们评估的所有验证器强度下均为表现最佳的方法,而且随着验证器能力减弱,其相对于最强基线的优势进一步扩大;在完全没有验证器的情况下,TTSP 使 mean@8 绝对提升了 35 个百分点。除基础策略对正确答案的覆盖率接近零的情况外,这些增益在不同验证器强度下均能保持。