逐矩阵最优性并不足够：面向低秩 LLM 压缩的三级优化

逐矩阵奇异值分解（SVD）截断在白化 Frobenius 范数下是 Eckart-Young 最优的，但独立压缩各个矩阵产生的误差会通过模块的非线性前向传播累积。部分受量子多体方法中的分层变分优化启发，我们引入了一个三级链，将优化范围从单个矩阵扩展到 Transformer 模块，再扩展到完整模型：白化 SVD（L1）、模块级联合优化（L2）以及端到端语言模型损失细化（L3）；全部仅使用 256 个校准序列，不使用指令数据或恢复数据。在 LLaMA-7B 上进行 60% 压缩时，该优化链将 WikiText-2 困惑度从 42.1 降至 19.1，再降至 11.4。模块级阶段起到正则化器的作用：跳过该阶段会使 Penn Treebank（PTB）困惑度恶化 24 个点；在我们的实验中，额外的端到端训练也未能弥合这一差距。在 20-80% 的压缩范围内、参数量最高达 13B 的五种架构上，以及分布内和分布外基准测试中，困惑度提升均能保持，不过跨架构的表格行使用了架构特定的配置，且比例扫描并未在统一协议下进行。使用更多校准数据后，跳过模块级阶段也变得具有竞争力，揭示出离线计算量与数据之间的权衡。因此，我们仅声称在困惑度和压缩保真度方面有所改进；下游准确率仍远低于稠密模型。