当遗忘并非灾难性时：论虚假遗忘的机制

arXiv:2610.08718v1 公告类型：交叉收录 摘要：语言模型在微调过程中看似遗忘的知识往往仍存储在模型中，并且可以恢复，这种现象被称为虚假遗忘。对新事实进行微调甚至可能产生自行逆转的遗忘：旧事实的回忆能力先骤降，随后在仅针对新事实继续训练的过程中恢复，最后才发生不可逆的衰退。我们旨在理解这种遗忘在何种情况下并非灾难性的。一个极简的联想记忆模型通过三个要素复现了这些动态：具有共享结构的键、集中分布的新值，以及网络中的归一化。微调使所有旧表征沿一个共同方向移动，在保留其相对几何结构的同时隐藏了旧事实；一旦新事实被学会，归一化便会消除这一偏移，而针对各个事实的特定变化则不断累积，导致记忆衰退。此外，在一个使用合成数据训练的 Transformer 中，减去这一共同偏移即可消除回忆能力的骤降；而在一个预训练语言模型中，从每次权重更新中移除单一方向的分量即可恢复旧事实。因此，遗忘同时包含一种共享的、可逆的访问能力丧失，以及各个事实的缓慢衰退，只有后者才是灾难性的。哪一种占主导，取决于新数据是使旧记忆共同移动，还是使其彼此分离。