DivMoE：通过跨领域专家组合实现细粒度 MoE 增量升级

arXiv:2610.11317v1 公告类型：cross 摘要：混合专家（MoE）架构已成为扩展大型语言模型的关键技术，近期研究表明，细粒度专家设计具有显著优势。从头开始训练此类模型成本高昂，而利用预训练稠密模型进行稀疏化升级是一种颇具吸引力的替代方案。然而，我们发现了细粒度升级中的一种结构性缺陷：当细粒度专家源自同一个源模型时，朴素路由会发生坍缩，导致下游准确率降至接近随机水平（例如，在 Qwen3-1.7B 上，Drop-Upcycling-fine-grained 在 15 个基准测试中的平均准确率仅为 23.2%，与从头训练的 22.2% 基本相当，而同一方法的粗粒度版本则达到 50.2%）。我们提出 DivMoE，这是首个能够实现具备结构均衡路由的细粒度 MoE 增量升级框架。DivMoE 引入了领域专用的细粒度专家初始化方法：从经过领域自适应持续预训练的稠密模型中构建专家；同时引入多样性约束路由，通过硬性结构约束确保每个 token 激活来自不同领域组的专家。在两个基础模型和 15 个基准测试中，DivMoE 始终优于六种升级基线（在 Qwen3-1.7B 上达到 55.6%，而最强基线为 51.6%），并且在 Stage 2 持续预训练后，在每项基准测试中都严格优于稠密基础模型，从而弥合了困扰以往细粒度升级方法的性能回退差距。在公开推理混合数据上进行监督微调后，我们的 12B 参数 DivMoE 模型以 64.5% 的平均准确率达到了 Moonlight-MoE（16B）的水平，同时比受控的 NVIDIA-Upcycling 基线高出 6.1 个百分点。