通过知识重构应对持续领域自适应中的灾难性遗忘

arXiv:2610.28892v1 发布类型：新 摘要：在后训练期间将语言模型适应到新领域，可能会导致其先前获得的能力退化，这种现象通常称为灾难性遗忘。现有的缓解方法大多将遗忘视为模型过度漂移的后果。因此，它们通过保留旧输出、重放旧数据，或对参数和表征的变化施加正则化来约束更新，使更新后的模型保持接近其先前状态。我们采取了不同的观点：与其将更新后的模型拉回旧状态，不如将新领域转换到模型已有的知识空间中，使陌生知识能够通过熟悉的过程来学习。因此，我们提出 Skill Schema Transport（SST），一种将新知识迁移到模型现有技能空间中的后训练框架。SST 将每种示例类型抽象为技能模式，在移除领域特定表面形式的同时，保留其核心操作、依赖关系和验证步骤。通过将新示例重构为可复用过程的实例，SST 将知识更新从轨迹记忆转变为过程复用。在持续领域自适应环境中，SST 在提升相关任务泛化能力的同时，持续减少遗忘。在两个 3B 指令微调骨干模型上，与顺序后训练相比，SST 将流式领域上的最终平均性能提升了 2.53 至 5.75 个百分点。在所有评估设置中，它还降低了最大跌落遗忘程度；在 Qwen-3B MATH 流上的降幅最大，从 42.41 个百分点降至 7.10 个百分点，同时大幅恢复了顺序更新导致的 OOD 性能下降。