微调更新的秩度量需要噪声基线

arXiv:2610.22438v1 公告类型：新摘要：关于微调对语言模型所做改变的研究，通常会用权重更新 $\Delta W$ 的秩来概括。我们将用于此目的的秩度量，与同样形状的随机矩阵上的相同度量进行比较，并进一步与两个更具挑战性的参照进行比较：预训练权重，以及不含对齐内容的匹配微调结果。对方向进行计数的度量显示，我们的微调更新仅略低于噪声；而由相同奇异值计算得到的稳定秩则显示其远低于噪声。两种结果都是正确的：一次更新是在一个很长的尾部之上叠加了少数几个强方向。对于十三组已发布的模型配对（参数规模最高达 8B），这一模式始终成立，而且它并非对齐的标志：在训练设置保持不变的情况下，指令数据并不比 Wikipedia 或代码数据更突出；在一个模型和偏好强度适中的情况下，无论偏好标签是真实的还是随机交换一半，DPO 产生的更新都相同；而打乱后的文本产生的更新集中度最高。我们将这些结果应用于一项近期主张：由于权重的有效秩几乎没有变化，训练后处理是表面的。基线结果表明，同等规模的随机更新虽会使该秩几乎保持不变，却会摧毁模型；同时，在我们的测试中，基于更新有效秩构建的编辑没有可测量的影响。权重更新的秩度量需要噪声基线，而关于对齐的主张需要一个不含对齐内容的对照组。