Local Support Learning

arXiv:2610.02126v1 发布类型：new 摘要：我们探讨大规模预训练模型中的灾难性遗忘问题。通过将遗忘视为每个权重矩阵输入空间中的几何问题，我们发现了一种自然的保持目标；在该目标下，基于梯度的优化器所产生的更新并非最优。基于这一观察，我们提出 Local Support Learning（LSL），一种通用框架，在无法访问先前数据的情况下，增强基于梯度的训练以保持既有能力。在新的学习阶段，LSL 将两个具有不同作用的组件结合起来：一个按照常规方式训练、以最小化损失的标准权重适配器，以及一个门控函数，该函数仅在输入激活来自其自身训练分布时启用适配器，使更新局限于该分布。关键挑战在于，该门控函数必须在训练过程中仅使用当前阶段的数据，却能够为所有学习阶段的数据进行路由。为此，我们采用基于 Gaussian Mixture Model（GMM）的门控函数；其似然度在远离训练数据时会快速衰减，因此天然倾向于对来自先前阶段的数据保持关闭。我们表明，这种训练后方法能够解决参数规模高达 70 亿的 LLMs 中的遗忘问题，在多个训练阶段中同时保留预训练和微调能力；此外，该方法在内存和计算效率方面表现良好，对超参数选择具有鲁棒性，并展现出良好的扩展潜力。