基于激活信息的帕累托引导低秩压缩，用于高效 LLM/VLM

arXiv:2510.05544v3 公告类型：替换交叉版本 摘要：大型语言模型（LLM）和视觉语言模型（VLM）已取得最先进的性能，但在部署过程中带来了巨大的内存和计算挑战。我们提出了一种新颖的低秩压缩框架来应对这一挑战。首先，我们通过基于层级激活的压缩误差对网络损失的变化进行上界估计，填补了相关文献中的理论空白。随后，我们将低秩模型压缩表述为双目标优化问题，并证明单一统一容差能够得到代理帕累托最优的异构秩。基于这些理论洞见，我们提出帕累托引导奇异值分解（PGSVD），这是一种零样本流程，通过帕累托引导的秩选择和交替最小二乘法实现，改进了激活感知压缩。我们将 PGSVD 应用于 LLM 和 VLM，结果表明，在相同压缩水平下，该方法具有更高的准确率和更快的推理速度。