专家呈现结构化冗余：面向混合专家大语言模型的结构保持专家剪枝

稀疏 MoE 机制显著改善了模型容量与推理效率之间的权衡。然而，实际部署仍需存储所有专家，带来大量内存开销。我们发现，MoE 层中的专家输出呈现结构化冗余。在不同模型和任务类别中，专家输出的稳定秩和熵有效秩始终远低于名义专家数量，同时专家输出分布也呈现出更少的有效模态。基于这些观察，我们将专家剪枝重新表述为结构保持的专家子集选择问题，并通过贪心策略对其进行高效优化，而非仅对单个专家独立评分和排序，或穷举搜索专家组合。我们在统一的结构保持框架下提出两种专家剪枝方法：投影能量专家剪枝（PEEP），通过最大化加权投影能量来保持功能子空间；分布覆盖专家剪枝（DCEP），通过最小化加权覆盖误差来保持分布的几何结构。两种方法均将路由器导出的权重作为先验，从而在考虑单个专家局部重要性的同时，联合保持专家之间的全局结构关系。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上的实验表明，当专家保留比例为 75% 和 50% 时，我们的方法在大多数基准测试中优于当前最先进的基线方法，并在通用任务和数学推理任务中均取得最佳平均性能。