低秩适应的黎曼几何

arXiv:2610.08049v1 公告类型：新 摘要：低秩适应（LoRA）被广泛用作预训练深度神经网络的参数高效微调技术，它通过低秩矩阵 $BA^\top$ 近似全量微调产生的权重更新。由于 $BA^\top = BG^{-1}(AG^\top)^\top$，因此任意可逆矩阵 $G$ 都会导致等价关系 $(B, A) \sim (BG^{-1}, AG^\top)$，这意味着两组参数会产生相同的损失值。该关系诱导出一个商流形，其中所有矩阵 $(BG^{-1}, AG^\top)$（对任意 $G$）都被视为相同，从而消除了损失值保持不变的冗余方向。为遵循该流形的几何结构，原始搜索空间被赋予一个在等价关系下保持不变的黎曼度量。这样的度量会在每个梯度步骤中引入预条件，并确保每次通过 LoRA 进行的权重更新都会改变损失值，从而实现高效优化。在本文中，我们提出了一种专门为 LoRA 设计的新型黎曼度量，以缩小权重层面上与全量微调之间的差距。理论上，我们证明了采用该度量所诱导的预条件后，LoRA 在每次迭代中满足以下两个性质：（i）在 LoRA 参数化所允许的一阶权重变化子空间内，权重更新沿着最接近全量微调梯度的方向进行。（ii）与采用传统预条件和不使用预条件的 LoRA 所得到的更新权重矩阵相比，更新后的权重矩阵在 Frobenius 范数意义下更接近全量微调得到的权重矩阵。这些理论结果表明，我们的预条件能够使 LoRA 更好地逼近全量微调，从而实现更高效的优化。实验表明，在语言和视觉领域的微调任务中，我们针对 LoRA 提出的预条件具有良好的有效性和效率。