MoEZip：面向稀疏混合专家大语言模型的路由感知 KV 缓存压缩

arXiv:2610.30206v1 公告类型：新论文 摘要：混合专家（MoE）语言模型通过为每个词元仅激活一小部分参数，高效扩展模型容量。然而，在长上下文推理中，内存仍是主要瓶颈，因为 KV 缓存会随序列长度线性增长。现有 KV 缓存压缩方法降低了稠密 Transformer 的这一开销，却忽略了 MoE 特有的问题：KV 淘汰可能改变答案生成过程中选中的专家，从而降低生成质量。我们提出 MoEZip，一种面向稀疏 MoE 语言模型的路由感知 KV 缓存压缩方法。为估计专家路由对扰动的敏感性，我们提出了一种基于路由分布的 Fisher 信息矩阵的新指标。MoEZip 将该指标与注意力权重相结合，对上下文进行路由感知评分。最后，我们构建了一个互补评分系统，融合面向稠密架构和稀疏 MoE 架构的淘汰方法。实验表明，在大幅压缩缓存的情况下，MoEZip 在多种基准测试上仍能保持稳健性能。当 KV 保留率为 10% 时，MoEZip 在 LongBench 和 RULER 上的平均得分较当前最先进的基线分别提高了 24 分和 20 分，分别达到基线得分的 2.3 倍和 4.9 倍。