在 RLVR 中将探索与优化解耦

arXiv:2610.10536v1 公告类型：新摘要：现代语言模型在已训练检查点的基础上，进一步通过可验证奖励强化学习（RLVR）进行训练。RLVR 的一个关键承诺是发现新的推理策略。原则上，模型可以采样出其先前训练数据中不存在的新颖想法。然而在实践中，为 RLVR 增加强有力的新颖性激励收效有限，并且可能导致模型质量下降。由于可验证奖励只监督模型知识和行为中狭窄的一部分，这类退化很难恢复。为此，我们在一个称为 Exploration-Distillation（ExpDis）的框架中，将探索与优化解耦。我们在奖励中加入新颖性奖励，训练一个或多个探索策略；然后根据正确性和质量筛选其轨迹，并将筛选后的轨迹蒸馏到一个独立的学生策略中。随后，在不使用新颖性奖励的情况下训练学生策略。我们重复上述过程数轮，在探索与优化之间交替进行。这种解耦使我们能够大幅扩展探索规模，同时不会降低学生策略的性能。在七个数学推理基准和两个模型系列上，在相同的实际运行时间预算下，ExpDis 的表现优于 DAPO。此外，我们观察到 pass@$k$ 的扩展性有所提升，这表明 ExpDis 生成的模型能够产生更多样化的正确解法。