通过逐层误差模型搜索推进基于 SVD 的大语言模型压缩
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
精选理由
提出逐层误差建模与改进 SVD 分解，让大语言模型压缩后更精准、更省算力，零样本准确率最高提升 4.8 个百分点。
AI 摘要
基于低秩 SVD 的压缩为降低大语言模型的计算成本提供了一种强有力的策略。然而，现有方法面临两个关键局限：（i）在全局秩分配方面，未经校准的误差代理指标无法捕捉复杂的误差传播；（ii）在分解质量方面，基于 Fisher 的估计器存在严重的秩坍缩问题。在本研究中，我们提出 Layer-wise Error Modeling Search（LEMS）和 KFAC-SVD，以解决这些局限。LEMS 引入逐层误差代理模型，将局部和全局层重要性与传播偏差相结合，并通过整数线性规划（ILP）建模实现有效的全局秩分配，从而改进秩分配。KFAC-SVD 利用词元级统计信息提升分解质量，缓解了以往基于 Fisher 的 SVD 方法中存在的秩亏问题。在 Mistral、Qwen3 和 Llama 3 模型系列上的实验表明，LEMS 始终优于现有搜索策略，零样本准确率最高显著提升 4.8 个百分点，且这一优势可推广至 700 亿参数规模的模型；同时，KFAC-SVD 使困惑度平均改善 15%。项目主页及代码：https://lems-svd.github.io