Router Drift Control：缓解 Mixture-of-Experts 强化学习中的异策略退化

arXiv:2610.21682v1 公告类型：新 摘要：强化学习（RL）可能由于训练与推理不匹配、小批量更新以及异步训练而变为异策略。由此产生的不匹配在 Mixture-of-Experts（MoE）模型中尤其有害，因为 rollout 与训练之间的差异可能改变路由决策，并导致路由器漂移。Rollout Routing Replay（R3）通过在训练期间复用 rollout 阶段的专家选择来缓解这种不匹配。我们的分析表明，路由回放会因丢失训练路由器选中但 rollout 路由器未选中的专家所产生的贡献而引入梯度偏差。为解决这一问题，我们提出 Router Drift Control（RDC），利用 rollout 与训练之间的路由分歧作为异策略陈旧性的信号，并有选择地拒绝高漂移响应。序列级过滤避免了回放引入的梯度偏差，同时保留原生专家选择以及保留响应所关联的学习信号。实验表明，随着策略陈旧性增加，RDC 能够取得更大的收益，并且在异步 RL 中依然有效。在异步训练中，RDC 与 Truncated Importance Sampling（TIS）结合使用后，在 AIME 2024 和 AIME 2025 上的平均峰值验证准确率比 TIS 高 5.5 个百分点，比 R3 高 4.5 个百分点。