冻结因子还是谱带？解耦低秩 LoRA 中的两种选择

低秩适配（LoRA）的谱变体同时选择一个子空间以及冻结哪个因子。我们通过在预训练权重的顶部或底部奇异方向上冻结输入因子 A 或输出因子 B，并分别选择学习率，将这两种选择区分开来。在秩为 2 时，在所有四个具有完整比较结果的任务-模型组合中，冻结 A 的同谱带优势都大于任一因子内部的谱带差异。在涵盖格式化任务和 OpenBookQA 的五个组合中，冻结 B 的表现也比训练预算相当的不冻结因子 LoRA 低 8–18 个百分点。无论是在单 GPU、单模型的复现实验中，还是在单独的 MLP 模块组内，冻结 A 的优势都依然存在；这包括针对冻结 B 设置的可训练参数数量相同或更多的对照实验，以及在随机正交归一基上冻结 A 的实验。随着秩增加，因子之间的差异减弱。在秩为 16 的 OpenBookQA / Qwen2.5-1.5B 实验中，按照从 MiCA 论文迁移而来的统一训练方案，PEFT 的 MiCA 实现比训练预算相当的 LoRA 低 3.08 个百分点。训练得到的 oracle 输出子空间基本消除了低秩带来的性能差距；在三种方向随机种子下，部分预热带来的收益均再次出现。因子与谱带之间的排序仅具有描述性；一项近似的多重性审计削弱了此前若干显著性结论。这些结果拓展了已知的因子不对称性，展示了其幅度如何取决于谱位置、秩和训练条件。