内在更强的教师：通过在策略双向蒸馏增强 MoE 模型

arXiv:2610.23185v1 公告类型：new 摘要：可验证奖励强化学习（RLVR）显著提升了混合专家（MoE）大语言模型的性能，但其结果级奖励只能提供稀疏监督。在策略蒸馏能够提供稠密的词元级反馈，但需要一个更强且兼容的教师模型；而在策略自蒸馏则依赖人工设计的特权信息。我们发现，MoE 架构本身提供了解决这一困境的途径：增加每个词元的激活预算能够释放潜在的专家容量，从而在模型内部产生一个可能更强的教师。然而，朴素扩展会导致性能下降，因为新近共同激活的专家并未针对协同工作进行优化。为此，我们提出 MoEvolve，这是一种遵循“先恢复、后提升”策略的双向蒸馏框架：首先，我们恢复激活扩展后的高-$k$ 模型，并利用其额外的激活容量进一步增强该模型；随后反转蒸馏方向，将增强后的能力迁移回原始的低-$k$ 配置，同时保留其推理时的激活预算。在多种 MoE 模型和基准测试中，MoEvolve 使初始模型的领域平均分最高提升 $22.2$ 分，并且相比具有相同预算的 RLVR 基线最高提升 $6.5$ 分。值得注意的是，最终的低-$k$ 模型往往能够超越其激活扩展后的教师模型。