有限秩瓶颈如何塑造低秩适应的格局

arXiv:2610.23343v1 公告类型：新 摘要：低秩适应（LoRA）已成为对大型预训练模型进行参数高效微调的标准方法，但关于低秩更新为何足够的理论解释仍不完整。现有大多数分析依赖神经切线核（Neural Tangent Kernel，NTK）机制，即围绕预训练权重对网络进行线性化。在本文中，我们采取了一种无需线性化的不同方法：我们的关键观察是，当骨干网络被冻结后，损失函数对每个经过适配的权重矩阵的感知，仅通过由冻结激活所诱导的有限秩线性映射实现。迹范数正则化随后会迫使优化器在所有产生相同观测输出的矩阵中选择一个低秩矩阵。由此得到的全局最小值，其秩由我们称为\emph{瓶颈秩}的该映射的秩控制，而非由样本数量控制。对于多头注意力，我们利用另外两个不变性获得更紧的秩上界：按行执行的 softmax 对得分矩阵中的加性行常数不敏感，而只有在经过注意力加权和冻结的输出投影之后，值更新才是可观测的。对于带权重衰减的因子化 LoRA 目标函数，我们在非凸情形下证明了一个互补结果：经过任意小的通用正半定扰动后，只要 LoRA 秩超过由瓶颈秩决定的阈值，每个一阶驻点都必然是秩亏的。最后，我们证明，扰动目标函数的全局最小值对于原始迹范数问题是近似最优的，并给出了由冻结特征的谱结构所支配的一致泛化界。