平滑稀疏混合专家模型的 Top-k 暴露边界

arXiv:2610.11575v1 发布类型：cross 摘要：稀疏混合专家模型能够在保持每个 token 固定计算预算的同时，高效扩展参数容量。然而，传统训练范式会固定选择 top-$k$ 个专家，将连续的路由分布转换为僵硬的阶跃函数。这一约束引入了一个脆弱的边界：高度竞争的专家会因微小的分数波动而被任意划分到完全监督区和零反馈区。为解决这一问题，我们提出 Elastic Expert Routing，从以 $k$ 为中心的局部离散分布中随机采样当前激活的专家预算。在多次训练迭代中，该机制将尖锐的阈值软化为渐进式概率分布。由于采样邻域保持对称，该方法在保留推理预算的同时，使期望计算成本与确定性训练相匹配。在监督微调和从头预训练设置下的大量实验均证明了该方法的有效性。在监督微调中，弹性路由使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均得分分别提升 $+0.84$ 和 $+2.02$ 个百分点。此外，在从头预训练中，与静态 top-$k$ 基线相比，该方法在各项下游任务上的平均得分高出 1.6 个百分点。