通过全局参数划分实现端到端等距微调

arXiv:2605.14841v2 公告类型：替换 摘要：低秩适配（LoRA）已成为大规模深度学习模型参数高效微调（PEFT）的主流范式。然而，其双线性参数化方式会导致依赖参数的几何结构：从可训练参数到权重更新的映射通常并不保持距离。Uni-LoRA 等将低维向量投影到 LoRA 参数空间的方法提高了参数效率，但后续的双线性映射破坏了端到端等距性。我们提出 GPart（全局划分微调），这是一种参数效率极高的微调方法，通过稀疏的等距划分矩阵，将一个 $d$ 维可训练向量直接映射到完整权重空间。GPart 保留固定的全局参数共享先验，同时移除了 LoRA 类方法所使用的额外低秩重构。这带来了一种简洁的参数化方式，仅包含一个主要超参数（$d$）、严格的端到端等距性，以及由可训练向量和随机种子组成的最小检查点表示。GPart 建立在以下前提之上：无需进行低秩矩阵分解，也可以在完整权重空间的随机低维子空间中实现有效微调。在自然语言理解、计算机视觉和数学推理基准测试中，GPart 在极低参数预算下达到了或超过了现有 PEFT 方法的性能。除了具备数学上的可处理性和内存效率外，GPart 的直接线性参数化还简化了模型选择，并为紧凑的适配器组合铺平了道路。总体而言，GPart 为小参数预算下的微调提供了一种优雅且具有竞争力的替代方案，在可训练坐标与权重空间更新之间保持固定且可预测的几何关系。