Spectral-MoE：稠密模型转 MoE 中的逐层异构专家利用率

arXiv:2610.19232v1 公告类型：新论文 摘要：大语言模型在推理过程中需要大量内存和算术运算。稠密模型转混合专家模型（MoE）是一种旨在降低这些算术运算成本的模型优化技术。稠密模型转 MoE 将预训练前馈网络（FFN）的神经元划分为多个专家，并为每个词元选择其中一部分。主流方法分为两类：解析方法利用启发式规则快速生成转换后的模型，而学习方法通过梯度优化生成模型，速度则慢得多。然而，这两类方法都在每一层固定使用相同数量的活跃专家，即相同的“利用率”。我们提出 Spectral-MoE，通过学习在不同层之间异构地分配利用率预算。其名称将稠密 FFN 拆分为专家的过程比作将光束分解为光谱的过程。Spectral-MoE 包含两种不同的方法：静态方法为每层使用一个在所有词元之间共享的标量，动态方法则为每个词元生成单独的分配方案。我们证明，对于基于解析和基于学习的最先进稠密模型转 MoE 方法，这两种分配器均优于均匀分配。在 FFN 利用率为 25% 时，对于基于学习方法转换的 Llama-2-7B、Llama-3-8B 和 Qwen2.5-7B 模型，动态分配相较于均匀分配分别将 WikiText-2 困惑度降低了 1.04、2.96 和 2.71。对于基于解析方法转换的模型，相应降幅分别为 2.45、6.26 和 2.17。对于基于学习方法转换的模型，在 FFN 利用率分别为 12.5%、25% 和 50% 时，动态分配相较于均匀分配，使上述三个模型的六任务平均准确率分别平均提高了 1.5、4.2 和 3.6 个百分点。这些结果确立了逐层专家利用率作为稠密模型转 MoE 的一个新优化维度。