面向重构优化的专家剪枝方法：用于混合专家语言模型

arXiv:2610.27123v1 发布类型：new 摘要：混合专家（MoE）模型通过稀疏激活专家来降低计算量，但部署时仍需存储大量专家参数。我们研究了使用任务领域校准数据进行训练后专家剪枝，并将其视为一个子集选择问题：给定一个预训练的 MoE 层，选择固定数量的专家，使其尽可能重构原始输出。精确的子集搜索具有组合复杂性，对于每层包含大量专家的现代 MoE 模型而言会变得难以处理。我们提出了 OptEP，这是一种可扩展的连续松弛方法，能够直接优化可微的专家选择变量，随后对保留专家的权重进行轻量级的基于重构的更新。在涵盖数学推理和代码生成的多种 MoE 架构与任务上，我们的方法优于现有最强的专家剪枝基线：在 Qwen3-30B-A3B 上准确率绝对提升最高达 15.05%，在 Qwen3-235B-A22B 上最高达 14.55%，在 GLM-4.5-Air 上最高达 11.06%，在 Mixtral-8x7B 上最高达 16.20%。在激进剪枝的情况下，性能提升尤为明显，这表明由重构驱动的专家选择与权重自适应能够在减少保留专家数量的同时，保留原始模型更多的性能。