一阶微调模型何时能够界定遗忘？

在新数据上微调语言模型可能会使其遗忘本应保留的事实。我们研究在微调运行开始时进行的测量，是否能够针对每个受保护事实，界定该运行使模型遗忘该事实的概率。在对 0.6B 到 14B 参数规模模型进行 LoRA 微调并使用随机梯度下降时，由有限差分探针估计的一阶响应模型，以 0.974-0.998 的相关性预测了逐事实边际的变化。然而，基于该模型构建的遗忘预测仍然失败了，因为遗忘需要的参数变化远远超出了模型经过验证的区域。不过，这些探针可以界定边际首次下降到接近零的边界以下的概率：我们为边际的线性替代模型推导了 Freedman 和 Azuma 首次通过界，并在新的运行中测试它们是否适用于该模型。这些界包含一个项 R，用于衡量响应系数在运行过程中发生了多大变化。将 R = 0 的简化 Freedman 界认证了大多数事实，但在 112 个条件中有 14 个被违反；且每个被违反的事实都有 R >= a，其中 a 是该事实的边际到边界的距离。完整的 Freedman 界只认证 R < a 的事实，并且在每个条件下都成立。在被违反的事实上，测试运行之间边际的离散程度的中位数是响应模型预测值的 14.6 倍，因此这些失败是模型失效；在我们的数据中，它们只发生在 R >= a 的情况下。我们事后发现了这一模式，并在两项预注册的验证性研究中用 43 个新条件对其进行了测试：完整界在所有条件下都成立，而简化界在那里仅在 3 个事实上失败，且每个事实都有 R >= a。因此，一阶微调模型可以在那些响应系数变化小于其到边界距离的事实上界定遗忘。