从已用之处到缺失之处：重新思考 LoRA 中的动态秩

arXiv:2611.07349v1 公告类型：交叉收录 摘要：基于 LoRA 的参数高效微调受秩支配，秩决定了参数预算和局部可达的任务更新。现有动态秩方法主要关注容量分配，却未解决当前适配空间是否足以满足任务需求的问题。我们刻画了标准因子梯度的一阶信息边界，表明其不可观测子空间与低秩流形的法空间一致。因此，仅凭因子梯度，无法区分当前空间内的优化不足与超出其一阶可达范围的任务相关方向。这促使我们从几何视角审视秩的演化：切向信息用于优化已有自由度，而法向谱则量化新增自由度的价值。在局部二次模型下，我们证明，主导法向奇异方向能够实现局部最优的秩扩展，其增益由谱能量决定。基于这一刻画，我们提出了 GEAR，通过切空间优化、用于秩扩展的无矩阵法向谱估计，以及任务诱导的几何初始化，将切向—法向分解转化为秩演化机制。在语言和视觉基准测试中，GEAR 以显著更少的可训练参数，在所有评估设置下均取得了最佳平均性能。在 LLaMA3-8B 上，它将平均常识得分从 86.61 提升至 88.45，同时将可训练参数量从 4200 万减少至 1440 万。