从 Pass@K 与 Pass@1 之间的差距中学习

arXiv:2609.35793v2 公告类型：替换 摘要：对许多响应进行采样，并保留其中通过验证器的一条，可以让大语言模型解决超出其单次响应能力的问题，但每次查询都必须再次付出这种搜索成本，而许多部署场景只生成单个响应。在经过验证的响应上进行后训练，可以将搜索带来的收益迁移到模型中。在预算固定的情况下，仅按正确性进行选择会把名额花在模型本来就能正确回答的问题上，从而减少用于纠正其失败的问题的名额。为解决这种不平衡，我们提出 GapFT，在 Pass@K 与 Pass@1 之间的差距上进行训练：即针对源模型单次响应失败、但在 K 次采样内能够解决的问题进行训练。GapFT 保持目标函数和训练预算不变，只改变哪些经过验证的响应进入训练；通过精确分解，可以将最终 Pass@1 的变化拆分为已纠正的失败，以及源模型原本已经解决的问题上的性能回退。在 LogiQA 2.0 和 ReClor 上，使用三个模型系列进行实验时，GapFT 在所有设置下都优于预算匹配的均匀拒绝采样微调（RFT），总体效果为正；在 Llama-3.1-8B 和 Mistral-7B 上，仅使用全部经验证问题池中 11%–34% 的问题，就恢复了在整个经验证问题池上进行微调所得增益的约三分之二至五分之四。进一步分析表明，增益来自前几次搜索采样所找回的失败案例；而只有通过更深层搜索才能发现的失败案例会挤占回放数据，无法带来净增益；用搜索无法达到的、带有标准答案标注的失败案例填满相同预算也无法提升准确率；此外，增益还受到搜索所暴露出的可迁移失败案例数量的上限约束。