通过保留注意力的 MLP 裁剪释放推理语言模型的结构化剪枝潜力
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
精选理由
LayerTrim 在无训练情况下裁剪模型冗余结构，兼顾长链推理准确率与推理速度、显存效率。
AI 摘要
arXiv:2610.19121v1 公告类型：新论文 摘要：结构化剪枝通过移除模型组件，生成更小的稠密模型，从而降低大语言模型的推理成本。然而，现有方法可能导致模型在 AIME 等长篇推理任务上的推理性能崩溃。我们提出了 \textit{LayerTrim}，这是一种无需训练的结构化剪枝方法，可识别冗余的解码器层，并在保留注意力机制和解码器深度的同时，选择性地裁剪这些层的 MLP 特征。LayerTrim 是首个旨在无需梯度或恢复训练的情况下保留长篇推理能力的免训练结构化剪枝方法。在针对三个推理语言模型和五个基准的评估中，LayerTrim 在大多数评估设置下优于现有结构化剪枝方法，相较于 RESP，平均准确率最多提高了 21.4 个百分点。在 \texttt{Qwen3-14B} 上，LayerTrim 的预填充速度达到稠密模型的 1.24 倍，GPU 峰值显存占用降低了 19.7\%，同时更好地保留了推理能力。在所评估的剪枝模型中，它还实现了最短的平均生成长度，同时保持了最高的平均准确率。这些结果表明，LayerTrim 通过结构压缩和减少词元生成量这两种方式提高了推理效率。