震耳欲聋的沉默：灾难性遗忘潜藏于数据从未提及的词元输出嵌入中

大语言模型（LLMs）的持续预训练和微调不可避免地会引发灾难性遗忘，通常通过回放原始数据来缓解，但这些数据往往无法获取。在这种无法访问原始数据的情境下，我们分析了遗忘发生的位置及其原因。在五种参数规模最高达 1.4B 的设置中进行的系统性参数冻结实验表明，遗忘选择性地集中在新语料中罕见词元的输出嵌入中，而模型主体中处于相同 sqrt(v-hat) 区间的参数则基本不起作用，新的学习发生在其他位置。这种局部化现象由语料的词汇缺失程度决定，而非训练模式决定，因此，对于固定的基础模型，仅凭词元计数即可在再次训练前对遗忘风险进行排序。从机制上看，缺失词元会持续接收单向的 softmax 梯度，而 Adam 的二阶矩（sqrt(v-hat)）归一化会将这些梯度放大为完整幅度的更新。因此，我们提出一种干预方法：在训练期间，仅提高输出投影所用的 Adam epsilon。在涵盖四个模型家族、参数规模从 160M 到 12B 的八种设置中，该方法在全部七种稳定配置下消除了 39.4% 至 67.9% 的遗忘，且不会损害目标任务学习，也无需针对各模型单独调参。该防御方法与回放结合时，可产生叠加甚至更好的效果（在 Qwen/韩语设置下达到 79.8%），并能避免解冻输出头的 LoRA 出现遗忘激增至 23 倍的情况。由于事后编辑发生漂移的行只能挽回不到 5% 的遗忘，这种干预必须在训练期间实施。我们的研究结果表明，当语料无法充分覆盖词汇表时，只需一行代码的优化器调整就可能成为抵御灾难性遗忘的主要手段。