GS-MoE：通过分组子空间共享与剪枝实现无需训练的 MoE 压缩

arXiv:2610.32009v1 公告类型：新 摘要：混合专家（MoE）模型通过稀疏激活降低计算量，但其专家参数的存储仍是一个主要的内存瓶颈。我们提出 GS-MoE，这是一种无需训练的压缩框架，通过两个压缩维度处理专家之间及专家内部的冗余：共享子空间秩和专家中间层宽度。分组低秩表示在保留专家特定投影的同时，捕获专家之间的共享结构；基于 Nyström 的神经元压缩则减少每个专家内部的中间层宽度。在共享子空间固定的情况下，我们根据重构目标推导出每个专家重构误差的降低量，并利用这些降低量指导专家分组。我们使用无梯度的层重要性评分，以分层方式分配预算，指导各层之间的秩预算和宽度预算分配；随后利用特征值和杠杆分数，将秩以非均匀方式分配到各组，并将中间层宽度以非均匀方式分配到各专家。实验表明，在两个压缩维度上进行压缩能够产生互补收益，尤其是在细粒度 MoE 模型的高压缩率下。在 DeepSeek-MoE-16B-Base 上，当模型总参数量减少 60% 时，GS-MoE 仍能保留未压缩模型平均推理性能的约 90%，而 D$^2$-MoE 为 73%；同时，域外困惑度降低了 20%。我们提供了代码实现：https://github.com/cbacary/GS-MoE