从近未来学习：用于 RLVR 的时间自蒸馏

arXiv:2604.20733v2 公告类型：替换 摘要：带有可验证奖励的强化学习（RLVR）是推理模型后训练的核心方法，但当有用轨迹难以发现或探索范围逐渐收窄时，纯在线策略学习可能效率低下。现有的自引导方法大多重复利用当前或早期学习器已经具备的能力。我们转而探讨：学习过程是否也能利用训练后期才涌现的能力——模型能否从未来的自己身上学习？我们提出时间自蒸馏，即由自身更强的后续检查点为策略提供指导。我们假设，最有用的时间教师未必是最强的教师：教师必须提供足够新的能力，同时与学习器保持足够的兼容性，使该能力能够顺利迁移，这促使我们关注近未来场景。我们通过两种互补机制研究这一原则。近未来策略优化（NPO）利用经过验证的未来自我轨迹进行离线策略行为迁移，而近未来策略蒸馏（NPD）则在学习器生成的轨迹上进行在线策略的令牌级迁移。我们进一步提出 AutoNPO，自适应地判断时间指导何时有用以及应回滚多远，将未来自我指导转化为一种反复进行的自举过程。在八个图文基准测试中，NPO 将 GRPO 的性能从 60.25 提升至 62.84，AutoNPO 则达到 63.15，并且在纯文本和视频推理任务上均取得稳定增益。在 NPD 下，尽管近未来教师在蒸馏后的即时性能较低，但经过持续强化学习后达到了 63.23，而远未来教师为 61.92。总体而言，这些结果表明，有效的时间自蒸馏并不简单取决于教师的强大程度，而取决于新获得的能力与学习器兼容性之间的平衡。