参数高效微调的范畴图谱：锥、轨道与规范

arXiv:2610.12728v1 公告类型：新论文 摘要：参数高效微调已有数百种方法，通常以参数数量和基准测试得分进行比较。我们将它们作为映射来比较。预训练检查点是权重空间中的一个基点，而权重空间方法则是从一个小参数空间出发、以该点为起点的光滑映射。这些映射构成一个切片范畴，其中冻结模型是始对象，全量微调是终对象。映射的三个不变量承担了大部分分析工作。其在基点附近的像，通过一阶像、维数、秩的最小割界，以及该点是光滑点还是锥顶，决定表达能力。其纤维与优化器的度量共同决定训练动力学。基变换移动基点，并涵盖分裂初始化、量化、重启与合并。例如，我们证明：零初始化的 LoRA，以及在所述秩与奇偶性条件下采用默认初始设置的 Householder 反射适配，均从锥顶出发；任何精确初始化都无法使 LoRA 达到秩超过自身秩两倍的更新；在精确算术下，严格正交的方法无论合并多少次，都不会改变权重的奇异值；在不使用 epsilon、权重衰减或裁剪且共用同一调度方案的 Adam 下，从标准零初始化出发的 LoRA+，其轨迹与将缩放系数乘以学习率之比的普通 LoRA 完全一致；采用共享超参数的 Adam，在 LoRA 满秩因子的连续对称群中仅保持带符号置换对称性；激活函数决定缩放适配器何时可以折叠进前面的权重。我们依据从公式中提取的七个坐标，对来自 138 篇论文的 382 种方法进行了分类，其中包含 403 个模拟箭头和 485 个障碍。每个编号结果均给出完整证明，对重新推导的他人成果也均注明出处。