冗余与协同相遇：通过子模优化实现面向依赖关系的 MoE 专家选择

arXiv:2610.00558v1 发布类型：新增 摘要：尽管 Mixture-of-Experts（MoE）模型通过稀疏激活有效扩展了模型容量，但其部署通常受制于高昂的内存需求。提取一个紧凑的专家子集是一种颇具前景的解决方案。然而，现有的专家选择启发式方法主要依赖 Top-k 排名，将对各个专家的评估彼此隔离，并忽略了 MoE 门控网络所引入的复杂专家间依赖关系。本文提出 DS-MoE，这是一种具有理论依据的框架，通过差分子模（DS）优化重新定义专家选择问题。通过分析损失退化的二阶 Taylor 展开，我们揭示了专家组合中的功能二元性：冗余（专家编码了重叠的表示）与协同（专家提供互补的误差抵消）。为应对这一二元性，我们将冗余降低与协同最大化在数学上解耦，并将选择目标表述为一个 DS 函数。此外，我们设计了一种定制的 majorization-minimization（MM）算法，并为其提供了可证明的单调性保证，从而能够高效识别最优专家子集。大量实验表明，DS-MoE 能够有效保留不可或缺的专家组合，其性能优于当前最先进的基线方法。