GroupMask：用于半结构化 LLM 剪枝的层自适应分组稀疏性

半结构化剪枝在保持规则稀疏结构的同时压缩大型语言模型（LLMs），但主流的 N:M 模式在每一层中固定相同的局部稀疏率。层自适应稀疏分配能够改进非结构化剪枝，但据报道在 N:M 稀疏性下效果较弱，这留下了一个开放问题：自适应分配对于半结构化剪枝总体而言价值有限，还是仅在细粒度的 N:M 模式下受限。我们通过组级稀疏性来考察这一问题：它将每个权重矩阵划分为规则的组，整体保留或剪除每个组，并允许每一层的稀疏率在全局预算下变化。我们提出 GroupMask，它使用轻量级超网络生成所有层的组选择器，通过 Gumbel-Sigmoid 参数化和直通估计器对其进行松弛，并在保持预训练权重冻结的同时，通过稀疏预算正则化和自蒸馏来学习这些选择器。在 LLaMA-2-7B 上，以 50% 稀疏率和相同的 $1\times256$ 组大小进行实验时，相比于每层均匀比例，学习得到的层自适应分配将 WikiText-2 困惑度从 10.02 降至 8.30，并将平均零样本准确率从 0.455 提高到 0.496。在五个 LLaMA 和 Qwen 模型上评估的基线中，GroupMask 在 LLaMA-2-7B 上获得了最低的 WikiText-2 困惑度，并在使用 Alpaca 校准时取得了最高的平均零样本准确率。我们的代码可在 https://github.com/ZhengaoLi/GroupMask 获取。