坚持你所知道的：知识对齐监督微调研究

监督微调（SFT）训练一个基础语言模型去模仿目标响应，而这些目标可能需要基础模型尚未稳固内化的知识。我们将这一点视为幻觉的一种来源，并将一组缓解方法概括为知识对齐 SFT：将 SFT 训练目标约束在基础模型的参数化知识范围内。在统一设置下，我们比较了现有的基于生成和基于估计的知识对齐方法，并引入两个新的变体：Evidence Rewrite，使用外部证据验证基础模型生成内容；以及 Recall Rewrite，仅在基础模型能够一致回忆这些陈述时才保留它们。使用 Qwen 3 4B 和 OLMo 3 7B 的实验表明，知识对齐 SFT 可以在大体保留通用能力的同时，减少 WildHalu 和 Biography 上的事实性幻觉。Recall Rewrite 带来了最强的事实性提升，并改善了 UnknownBench 上的拒答行为。这进一步证实，超出基础模型知识范围的 SFT 目标会驱动幻觉行为。