SFT-as-context 缓解监督式微调中的遗忘问题

arXiv:2610.11132v1 公告类型：cross 摘要：监督式微调（SFT）赋予大型语言模型（LLM）专门能力，但往往会以遗忘其父模型（即微调前的预训练模型）的一般能力为代价。对于同时需要专门能力和一般能力的查询，这种权衡尤其具有限制性。我们提出了 SFT-as-context，这是一种无需训练的方法，其中父模型利用 SFT 模型的回答作为上下文来回答查询。通过上下文学习，父模型可以从 SFT 回答中获得微调能力，同时保留自身的一般能力。在 19 对父模型与 SFT 模型以及 11 个基准测试中，SFT-as-context 在微调能力上始终接近 SFT 模型：在 AIME 2024 和 LiveCodeBench 上的差距仅为 2.2 和 2.1 个百分点，在 NutriBench-English 上的宏观 MAE 差距为 2.0；同时，在一般能力上，其平均表现与父模型的差距不超过 2.2 个百分点。值得注意的是，它能够解决同时需要微调能力和一般能力的查询，即使父模型和 SFT 模型单独使用时都无法成功。该方法还可以扩展到父模型与 SFT 模型配对之外：来自小型开源 SFT 模型的回答能够提升强大的闭源 LLM 的表现，优于单独使用其中任一模型。此外，我们使用贝叶斯框架推导出理论保证，分别界定 SFT-as-context 在微调能力上相对于 SFT 模型、在一般能力上相对于父模型的误差。除此之外，我们可视化了注意力权重，发现父模型会更多地关注有用的 SFT 回答，而较少关注无关回答，这表明选择性注意力有助于父模型通过上下文学习利用 SFT 回答。