SparseDecoding：面向准确高效 LLM 推理的解码感知剪枝

arXiv:2610.12327v1 公告类型：新 摘要：大型语言模型（LLM）推理的解码阶段具有内存受限特性，会带来显著延迟。由 Hessian 引导的逐层免训练网络剪枝方法一直是解决这一问题的重要方案，因为剪枝能够减少解码过程中从内存读取的非零参数数量。然而，这类典型方法通常使用预先收集的自然序列计算 Hessian，而模型在解码过程中接收的是自行生成的 token，从而导致这两类序列之间出现分布偏移。在自然序列上计算得到的 Hessian 与在生成序列上计算得到的 Hessian 并不相同。我们观察到，这种差异会使生成过程中的激活分布偏离用于剪枝的激活分布，进一步降低剪枝模型的性能。此外，现有大多数能够带来实际加速的 LLM 剪枝方法主要针对稀疏矩阵-矩阵（SpMM）乘法，而对在解码过程中占主导地位的稀疏矩阵-向量（SpMV）运算支持有限。为解决这些问题，我们提出 SparseDecoding，这是一种面向准确高效 LLM 解码的原理性解码感知剪枝框架。具体而言，在算法层面，SparseDecoding 从稠密模型的自回归生成过程中收集逐层激活，并基于这些激活构建校准矩阵，同时排除 prefill 阶段，从而使剪枝目标与解码激活保持一致。在系统层面，我们开发了一种经过优化的 N:M 稀疏矩阵-向量内核，采用位掩码索引和固定步长遍历。针对代表性 LLM（Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B）的大量实验证明，与标准固定文本校准相比，我们的方法在长文本生成基准测试中始终表现更优，并且在 A100 GPU 上实现了最高 1.48 倍的端到端实际解码加速。