谱权重衰减：在神经网络权重中诱导低秩结构

arXiv:2610.11730v1 发布类型：新 摘要：标准权重衰减将每个权重矩阵视为向量，忽略了其谱结构。我们引入谱权重衰减，这是一种在参数更新步骤之后执行的解耦核范数更新，采用加法而非乘法的谱收缩。我们将该更新与近似近端下降联系起来，并表明，在接近秩亏的情况下，其对更新顺序的敏感性可能超过传统的 $\ell_2$ 权重衰减。在参数量从 $124$M 到 $500$M 的 LLaMA 模型上，谱权重衰减在验证损失相当的情况下降低了有效秩，并改善了 SVD-LLM 压缩效果。在 $500$M 参数规模和 $4\%$ 的失真预算下，该方法实现了 $1.89\times$ 的压缩率和 $1.18\times$ 的 GPU 推理加速，而标准权重衰减后的结果分别为 $1.14\times$ 和 $1.01\times$。在固定训练时长且标签噪声率为 $60\%$ 的训练设置下，相较于匹配的 $\ell_2$ 正则化，该方法还提升了最终平均干净测试准确率：在 MNIST 上最高提升 $17.8$ 个百分点，在四个 BERT-base 任务上提升 $4.6$ 个百分点。代码可在 https://github.com/brain-lab-research/SpectralWD 获取。