ITC-MoE：重要性引导的令牌感知 MoE 扩散语言模型压缩

专家混合（MoE）扩散语言模型（DLMs）支持灵活的并行解码并提升模型容量，但其大量专家参数带来了显著的计算和存储成本。现有的低秩 MoE 压缩方法大多依赖静态分解和固定秩分配，忽视了 MoE DLMs 的独特属性。具体而言，我们发现了两种属性：跨模态非均匀冗余，即参数冗余程度以及对秩截断的敏感性在输入、输出和专家模态之间存在差异；以及令牌级利用率变化，即冷热令牌表现出不同的谱特征和专家激活模式。为应对这些挑战，我们提出了 ITC-MoE，一种面向 MoE DLMs 的重要性引导令牌感知压缩框架。ITC-MoE 由两个互补组件构成。首先，重要性引导的自适应 Tucker 压缩（Importance-guided Adaptive Tucker Compression，IATC）将激活和梯度重要性融入专家权重变换，在多个模态上联合分解专家权重，并在固定参数预算下自适应分配秩。其次，令牌感知补偿与路由（Token-aware Compensation and Routing，TCR）对压缩敏感的热令牌应用轻量级低秩补偿，并针对路由模式集中的冷令牌限制候选专家集合。通过联合适配压缩容量和推理执行，以同时应对参数冗余和令牌级变化，ITC-MoE 在保持生成质量的同时，大幅降低了 MoE DLMs 的计算和存储成本。例如，在 SDAR-30B-A3B-Chat-b32 上，ITC-MoE 在 30% 的压缩预算下仍能在 MultiArith 上保持 96.33% 的准确率，同时实现最高 7.22 倍的端到端加速。代码公开发布于 https://github.com/lianjunl13-sudo/ITC-MoE。