微调过程中虚假相关性的无监督识别与去除

arXiv:2605.27676v2 公告类型：替换并交叉归类 摘要：在经过筛选整理的数据集上微调预训练语言模型，可能会在微调任务与非预期的潜在因素（如失准人格或政治倾向）之间产生虚假相关性，因为数据筛选整理过程已将这些因素与任务纠缠在一起。模型可能会依赖这些虚假相关性，从而产生偏见并降低分布外泛化能力。我们证明，在对任务复杂度和虚假相关性作出合理假设的情况下，可以在没有监督的条件下，从朴素 LoRA 微调所得的权重中识别这些潜在因素。现有的偏见去除方法（如激活引导）会在推理或训练期间，从残差流激活中移除已识别的因素。然而，我们认为，目标应当是去除虚假相关性，而不是潜在因素本身，因为预训练模型可能依赖该因素来获取真正的任务信号。为此，我们提出 GRASP（GRadient projection of Associated Spurious Patterns），在保留预训练模型沿该潜在因素方向已有内容的同时，防止模型对已识别的潜在因素形成新的依赖。我们在三个微调任务上进行了验证。前两个任务涉及涌现性失准，即在狭窄任务上进行微调（在我们的实验中，分别是编写不安全代码和提供不当医疗建议），会导致模型在无关话题上给出失准回答。在这两种情形下，我们的方法分别完全消除了不安全代码场景中的失准，并将不当医疗建议场景中的失准降至约五分之一，在减少失准与保留任务能力之间的权衡上优于所有基线。最后一个任务是一项新的政治偏见实验：在右倾的 Reddit 财务建议数据上进行微调，会导致模型在无关话题上的政治倾向发生漂移。在该实验中，我们的方法将漂移幅度降低了一半以上，同时提升了财务任务表现，优于所有基线。