冻结解码器，修复编码器：基于 SVD 的 KV-Cache 压缩的参数高效适配

arXiv:2610.10552v1 公告类型：新 摘要：在统一共享学习率下比较参数高效微调方案是一种常见但存在缺陷的做法：当被比较的方案具有极为不同的可训练参数量时，共享学习率可能同时压低较大方案的均值并增大其方差，从而人为制造出一种对最小方案有利的、看似在多个随机种子下都显著的优势，而这种优势并非真实效果。我们在一个具体场景中记录了这一混淆因素：基于 SVD 的事后 KV-Cache 压缩。在该场景中，已经预训练的模型通过将其键/值权重分解为下投影（“编码器”）和上投影（“解码器”），转换为低秩的、多头潜在注意力风格的缓存；随后进行一次短暂的微调（“修复”），以恢复因截断而损失的准确率。在共享学习率下，冻结解码器、仅修复编码器，看起来明显优于修复解码器或同时修复两个因子；但当为每个方案分别调优学习率后，这一表面优势便消失了，编码器独立修复反而达到了与其他方案相当的效果，同时实际节省了 3 倍的可训练参数和 3 倍的优化器状态内存。我们在一个视觉语言模型（Qwen2.5-VL-3B-Instruct）上，为每种配置使用 3 个随机种子，并通过逐方案学习率调优验证了这种等效性；实验覆盖了该协议支持的唯一压缩率。我们还在包含两个骨干网络的纯文本测试平台上复现了这一结果。因此，编码器独立修复是一种更节省内存的即插即用方案，可在训练时为模型改造低秩 KV-Cache 压缩；而我们记录并纠正的共享学习率陷阱，则提醒人们在比较任何可训练参数量不同的微调方案时都应保持谨慎。