MASKerade：用于密集模型到 MoE 升级的令牌路由掩码专家

arXiv:2610.07809v1 公告类型：新 摘要：稀疏激活的专家混合（MoE）模型能够提升模型容量，而无需按比例增加每个令牌的计算量。密集模型到 MoE 的升级通过复用预训练密集模型来构建此类系统，通常的做法是将前馈网络（FFN）复制为独立训练的专家。我们提出 MASKerade，这是一种密集模型到 MoE 的训练方法，其专家不再通过复制获得，而是学习为冻结的预训练 FFN 的稀疏子网络。每个专家由一个学习得到的二值掩码定义，并由令牌级路由器选择要执行和组合的掩码 FFN。路由器和掩码分数进行联合优化，而底层 FFN 的权重值保持不变。这一形式能够在同一套路由架构中支持神经元结构化、半结构化和非结构化专家。我们的主要配置采用四个 2:4 专家，并使用 top-2 路由；其中两个半稠密专家的计算过程在名义上的 FFN 算术量上相当于一次稠密计算过程，同时无需独立的专家权重矩阵。在使用 Qwen 和 Gemma 作为骨干网络的五个视觉语言基准测试中，该配置取得了所有对比基线中的最高性能。通过对不同掩码粒度、路由干预方式以及计算量匹配的控制实验进行比较，我们区分了学习得到的连接方式与专家激活数量各自的影响。这些结果表明，在冻结权重上进行掩码学习，是构建令牌路由 MoE 专家的一种实用替代方案。