QK-Wanda：耦合查询与键进行非结构化剪枝

arXiv:2610.01554v1 发布类型：new 摘要：Wanda（Sun et al., 2024）通过在每个线性投影内独立地为权重评分来剪枝大型语言模型，尽管查询和键会通过点积相互作用。我们提出 QK-Wanda，在未掩码的 RoPE 前重构目标下，根据查询和键权重各自的删除代价对其进行评分。该方法将相反投影的信息纳入 Wanda 分数中（查询权重使用键的信息，键权重使用查询的信息），使两个投影能够共享剪枝预算。其闭式评分无需梯度或权重更新；在我们主要实验所用的校准设置下，完整剪枝在 A100 上耗时仅比 Wanda 多 1.3%，在 H200 上多 3.1%。我们在来自 TinyLlama、Llama 2、Llama 3 和 Qwen2.5 的 15 个模型上评估了仅针对 QK 的剪枝，模型参数规模涵盖 0.5B 至 72B。相较于 Wanda，在 50% 稀疏率下，QK-Wanda 将 QK 重构误差平均降低 60%；在 80% 稀疏率下，平均降低 45%。下游性能增益取决于具体模型。在 Llama 2 70B 达到 80% 稀疏率时，WikiText-2 和 C4 的困惑度分别下降 20.3% 和 13.5%，而零样本平均准确率上升 5.94 个百分点。Qwen2.5-72B 也有所提升，但 Llama-3.1-70B 的困惑度显著更高，尽管其重构误差更低。这些结果表明，耦合剪枝标准具有良好潜力，同时也揭示了局部重构作为模型质量预测指标的局限性。