面向输出感知的大语言模型残差流剪枝

arXiv:2609.35579v2 公告类型：替换 摘要：残差流剪枝方法通过缩减模型的隐藏维度来降低推理成本，但现有方法通常通过最小化激活重构误差来选择这些维度。这一标准隐含地将所有扰动方向视为同等重要，而忽略了下游层的敏感性。我们提出了一种具有敏感性感知能力的残差流剪枝方法，直接考虑这种依赖方向的敏感性。通过对输出 KL 散度进行二阶近似，我们结合激活协方差和模型输出的局部敏感性来刻画残差流扰动的影响。由此得到的子空间选择目标将这两个量耦合起来，但难以直接优化。我们推导出一个易于处理的谱上界，将子空间选择转化为对敏感性加权协方差矩阵进行特征分解，同时保留基于旋转的剪枝方法的高效性和结构简洁性。在多个经过指令微调的语言模型系列上，与仅基于激活的剪枝相比，我们的方法始终能够降低校准 KL 散度，并在一系列压缩级别下提升困惑度和下游任务性能。我们的结果表明，仅保留激活能量不足以实现有效的残差流剪枝；明确考虑扰动如何传播至模型输出，能够为选择待移除的维度提供更有效的标准。