3BASiL：LLM 稀疏加低秩压缩的算法框架

arXiv:2603.01376v2 公告类型：替换 摘要：大型语言模型（LLM）的稀疏加低秩（$\mathbf{S} + \mathbf{LR}$）分解已成为模型压缩领域一个颇具前景的方向，旨在将预训练模型权重分解为稀疏矩阵与低秩矩阵之和（$\mathbf{W} \approx \mathbf{S} + \mathbf{LR}$）。尽管近期取得了进展，现有方法相比稠密模型通常会出现显著的性能下降。在本文中，我们提出了 3BASiL-TM，这是一种高效的单次训练后处理方法，用于对 LLM 进行（$\mathbf{S} + \mathbf{LR}$）分解，旨在弥合这一差距。我们首先提出了一种新颖的三块交替方向乘子法（ADMM），称为 3BASiL，在具备收敛保证的情况下最小化逐层重构误差。随后，我们设计了一个高效的 Transformer 匹配（TM）细化步骤，在 Transformer 层之间联合优化稀疏与低秩组件。该步骤最小化一种新颖的内存高效损失，使输出在 Transformer 层面实现对齐。值得注意的是，TM 过程具有通用性，因为它能够增强任何（$\mathbf{S} + \mathbf{LR}$）分解，包括纯稀疏分解。数值实验表明，在（2:4 Sparse + 64 LR）配置下，与已有方法相比，3BASiL-TM 将相对于稠密 LLaMA-8B 模型的 WikiText2 困惑度差距缩小了 30% 以上。此外，与当前最先进的（$\mathbf{S} + \mathbf{LR}$）方法相比，我们的方法在 A100 GPU 上实现了超过 2.5 倍的压缩运行速度提升。我们的代码可在 https://github.com/mazumder-lab/3BASiL 获取。