解耦 RLVR 中的探索与优化

现代语言模型在已训练的检查点基础上进行可验证奖励强化学习（RLVR）。RLVR 的一个核心潜力在于发现新的推理策略。原则上，模型可以采样出先前训练数据中不存在的新思路。然而，在实践中，为 RLVR 引入强烈的新颖性激励成效有限，还可能导致模型质量下降。由于可验证奖励仅对模型知识和行为中很小的一部分提供监督，这种质量退化难以恢复。为此，我们提出名为 Exploration-Distillation（ExpDis）的框架，将探索与优化解耦。我们在奖励中加入新颖性奖励，训练一个或多个探索策略，根据正确性和质量筛选其生成的轨迹，并将这些轨迹蒸馏到独立的学生策略中。随后，在不使用新颖性奖励的情况下训练学生策略。我们将上述过程重复多轮，交替进行探索与优化。这种解耦使我们能够大幅扩大探索规模，而不降低学生策略的质量。在七个数学推理基准和两个模型系列上，ExpDis 在相同的实际耗时预算下均优于 DAPO。此外，我们观察到 pass@$k$ 随 $k$ 增大而提升的表现有所改善，这表明 ExpDis 训练出的模型能够生成更多样化的正确解答。