Local Support Learning

我们探讨大型预训练模型中的灾难性遗忘问题。通过将遗忘视为每个权重矩阵输入空间中的几何问题，我们发现了一种自然的保持目标；在该目标下，基于梯度的优化器所产生的更新并非最优。基于这一观察，我们提出了 Local Support Learning（LSL），一种通用框架，在无法访问先前数据的情况下增强基于梯度的训练，以保留既有能力。在新的学习阶段，LSL 将两个作用不同的组件结合起来：一个按照常规方式训练、以最小化损失的标准权重适配器，以及一个门控函数，仅在输入激活来自其自身训练分布时启用该适配器，从而使更新局部化于该分布。关键挑战在于，训练过程中只能使用当前学习阶段的数据，而该门控函数必须能够路由来自所有学习阶段的数据。为此，我们采用了基于 Gaussian Mixture Model（GMM）的门控函数；其似然值在偏离训练数据后会迅速衰减，因此天然倾向于对来自先前阶段的数据保持关闭。我们表明，这种训练后方法能够解决参数规模最高达 70 亿的 LLMs 中的遗忘问题，在多个训练阶段中同时保留预训练能力和微调能力；此外，它在内存和计算方面高效，对超参数选择具有鲁棒性，并展现出良好的扩展潜力。