Test-Time Self-Play：无需验证器的扩展

arXiv:2611.07367v1 公告类型：新论文 摘要：测试时扩展方法在部署阶段投入额外计算资源，以提升大语言模型在高难度目标问题上的表现。大多数方法依赖验证器对候选解的正确性进行评分，并据此选择或改进模型输出。然而，在许多部署场景中，并不存在针对目标问题的强大验证器。我们提出 Test-Time Self-Play（TTSP），这是一种利用非对称自我博弈、无需依赖验证器的测试时扩展方法。在 LiveCodeBench v6 的一个经过难度校准的子集上，TTSP 在我们评估的所有验证器强度下均表现最佳，而且随着验证器能力减弱，其相对于最强基线的优势进一步扩大；在完全没有验证器的情况下，TTSP 使 mean@8 绝对提升了 35 个百分点。这些增益在一系列验证器强度下均能保持，唯一的例外是基础策略对正确答案的覆盖率接近零的情况。