RISE：通过自外推策略蒸馏实现递归改进

在策略蒸馏（OPD）为语言模型后训练提供了稠密的逐 token 监督，但其有效性受制于教师质量：外部教师会遭遇分布不匹配，而带有特权条件的自蒸馏又受限于上下文学习能力。我们提出 \textbf{RISE}（\textbf{R}ecursive \textbf{I}mprovement via \textbf{S}elf-\textbf{E}xtrapolating Policy Distillation），它直接从模型自身的 RLVR 训练轨迹中构造一个合成教师。通过在参数空间或输出 logit 空间中外推当前 checkpoint 与后方锚点之间的位移——RISE 将稀疏的、由结果诱导的参数更新转换为稠密的 token 级目标，而无需任何外部模型或特权条件。RISE 以互补循环的方式结合 RLVR 和 OPD：结果奖励将外推约束到正确推理方向，而外推得到的教师则细化 token 级决策。此外，由于随着学生提升，教师会在每次迭代中刷新，蒸馏不再是一次性压缩步骤，而是一种递归式改进机制。覆盖数学推理、多领域 STEM、代码生成以及多轮智能体任务的实验表明，RISE 在所有设置下都优于仅使用 RLVR 的训练和 on-policy 自蒸馏。