MoRA：通过路由器偏置学习与专家近似进行 MoE 剪枝

arXiv:2610.00367v1 公告类型：新 摘要：混合专家（MoE）模型通过为每个 token 仅激活少量专家，在有限的单 token 计算量下实现参数规模扩展，但部署这些模型仍需要将完整的专家池加载到内存中。结构化专家剪枝通过移除专家，可以有效降低内存使用量。然而，现有剪枝方法要么采用与模型性能不够契合的专家排序标准，要么依赖计算开销较大的有效专家子集搜索。此外，这些方法通常忽视了保留专家之间路由行为的冗余性。本文提出了通过路由器偏置学习与专家近似进行 MoE 专家剪枝的方法（MoRA），这是一种结构化 MoE 专家剪枝框架。我们为每个专家引入可学习的路由器偏置，并通过最小化语言建模损失和路由多样性正则项来优化这些偏置。学习得到的路由器偏置能够使路由概率分布更加尖锐，从而识别出对模型性能至关重要的专家，同时鼓励选择具有多样化路由偏好的专家。此外，我们引入了一种专家近似机制，作为剪枝后的增强手段。该机制利用剩余专家通过仿射变换近似被剪枝专家的输出，进一步提升剪枝模型的性能。我们在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 Moonlight-16B-A3B 上评估了 MoRA，在每个 MoE 层中移除 25\% 和 50\% 的路由专家。在九个零样本基准上的大量实验表明，MoRA 的性能优于当前最先进的剪枝算法。我们的代码将会发布。