LoRA 需要多大秩？Transformer Attention 的秩-误差界

选择低秩适配（LoRA）更新的秩通常是一个经验性任务。本文针对 Transformer attention 中每个 LoRA 秩所能达到的近似误差，给出了一个与任务相关的理论。我们固定一个预训练的 attention head、一个目标 attention 函数，以及来自下游任务的输入分布，并对由 rank-$r$ 的 query LoRA 更新所能达到的最小期望 Kullback--Leibler（KL）误差给出上界。当目标 attention 概率远离 0 时，我们证明了一个下界，其误差与 $ψ(\|d\|_2)$ 成正比，其中 $d$ 是候选 attention 分数与目标 attention 分数之差，且 $ψ(t)=\min\{t^2,t\}$。我们还证明了一个无条件上界 $\min\{\|d\|_2^2/4,\sqrt2\|d\|_2\}$。在显式可实现性、几何和矩条件下，我们进一步将最佳 rank-$r$ 误差界定在一个显式常数倍的 $ψ(\sqrt{T_r})$ 与 $\min\{T_r/4,\sqrt{2T_r}\}$ 之间，其中 $T_r$ 是目标更新的下游加权尾能量。我们还在候选分数保持在目标分数固定范围内时给出了 target-Fisher 界，并在一部分 token 承载了大部分概率质量时给出了一个无约束下界。这些谱界描述了有限分数近似。随后我们构造了显式族，在其中 softmax 饱和使得匹配 attention 函数所需的秩严格小于匹配有限 logits 所需的秩。最后，我们将分析扩展到 fused multi-head LoRA 和联合 query/key 更新，揭示了秩共享和 query/key 因子分解约束的影响。