强化学习扩展真的需要更多训练吗？

arXiv:2610.01133v1 公告类型：新 摘要：推理扩展通常会在强化学习（RL）或推理阶段投入更多计算资源。我们表明，一段已经完成的 RL 训练历史能够产生强于其优化器曾访问过的检查点的策略。我们将其称为策略空间扩展：在不延长训练时间或增加单次查询推理计算量的情况下，扩大从固定 RL 历史中可获得的可部署策略集合。我们通过 SURGE（Scaling Up RL Gradient-free via Eigenspace fusion）实现了这一方法。SURGE 将同一 RL 运行中的两个检查点结合起来：一个高准确率的锚点，以及一个具有竞争力且生成更短回答的供体。它将两个检查点都表示为相对于共同初始化的变化，然后对锚点的更新进行谱分解，保留其主导成分，并融合供体的互补成分。在固定锚点更新保留比例目标的情况下，SURGE 无需测试候选策略，即可根据权重确定块大小。我们评估了两个 1.5B 数学推理训练历史（DeepSeek 和 Nemotron）以及一个 7B 编程训练历史（OLMo）。与两个输入检查点相比，SURGE 提高了基准平均准确率，同时使用的推理 token 少于锚点。在 DeepSeek AIME24 上，SURGE 达到 54.17%，高于实测原生最大值 50.83%；在 OLMo HumanEval+ 上达到 83.7%，高于 82.8%。这些提升超过了观测到的训练曲线。几何控制实验表明，除了权重位移或 token 减少本身之外，RL 更新的结构也十分重要。每个构造出的模型都作为单一策略运行。我们的研究表明，存储的 RL 历史是一种可复用的扩展资源：一次训练运行所能提供的能力，不必止步于其最佳检查点。