无数据低秩共享基分解用于 Mixture-of-Experts 压缩

arXiv:2610.09342v1 公告类型：新 摘要：Mixture-of-Experts（MoE）大型语言模型通过稀疏路由将容量与计算解耦，但其庞大的参数量带来了存储和服务部署方面的挑战。我们分析了三类 MoE 压缩方法：专家剪枝、专家合并和权重重构，并推导出结构误差界，表明剪枝和合并可能产生与路由和专家异质性相关的非消失误差。相比之下，权重重构通过保留专家结构和路由，避免了这些结构性代价。基于上述分析，我们提出了 Shared Low-rank Basis Factorization（SLBF），一种无数据权重重构方法。该方法使用专家间共享的秩-$k$基，使更丰富的跨专家共享成为可能，同时实现更快的收敛速度和更低的重构误差。事后规范固定可在不牺牲表示能力的情况下移除冗余参数。在涵盖 16B 至 122B 参数的五种 MoE 架构上，SLBF 始终优于来自上述三类压缩方法的方案。