明知错误：用违背 LLM 自身信念的数据训练会诱发错位

在狭窄领域（例如错误的医疗建议）使用有害数据对大型语言模型（LLM）进行微调，可能使其广泛地出现错位。由于实践中极少使用明确有害的数据对模型进行微调，这一风险究竟有多现实仍不明确。在本研究中，我们发现，使用模型认为是错误但不包含有害内容的数据进行微调，同样会诱发广泛的错位。在数学、知识问答、烹饪和体育等领域，模型越强烈地不相信训练数据中的答案，其错位程度就越高。在数学领域，随着训练答案变得越来越错误，错位回答的比例从 4% 上升到超过 60%，而通用能力几乎没有损失。微调后，模型会陈述错误答案，但其多项选择概率仍然偏好正确答案，这表明错位源于这种内部不一致。随后，我们研究了一个更现实的场景：像知识编辑或持续学习那样，只更新单个事实。相同的关系依然成立：模型在使用错误事实训练后，越是仍然相信真实事实，就越容易出现错位。当我们将同一个错误事实描述为连贯故事的一部分时，相较于直接指示模型断言该错误事实，模型会更加深信这一事实，错位程度也会降低。尽管这两种表述方式会导致不同程度的错位，内容过滤器和 persona 向量却无法区分它们。这些结果表明，模型更新存在一种风险：即使数据表面上无害，如果模型没有将新事实当作真实事实接受，训练仍可能诱发错位。