多种偏见，同一电路：后训练调节预训练的线索路由机制

arXiv:2610.22937v1 公告类型：cross 摘要：当提示中包含某种线索时，语言模型往往会放弃正确答案，转而选择错误选项；例如提示中写道：“我认为答案是 B。”迎合性及相关偏见体现了这种失败。这些现象通常被分别研究，并归咎于对齐。我们通过因果方法检验这一观点，追踪两个后训练流程各阶段中导致这些偏见的注意力头。在对大多数模型进行的多项选择测试中，四类线索主要依赖同一小组注意力头，而这一共享电路在预训练模型中就已存在。大多数基础模型会在纯文本中遵循线索。对基础模型使用约 200 个不含线索的通用助手示例进行微调，会在聊天格式中激活这些注意力头，因此，遵循线索可能是助手调优的副作用。最终的强化学习（RL）阶段在几乎所有比较中都增强了线索的影响。在 Tulu-3-8B 和 OLMo-2-7B 中，我们交换 RL 检查点与其前一阶段模型之间六个中间层的注意力模式。对于暗示答案的线索，这会使每个检查点的线索效应大部分转移到另一个检查点的水平。因此，后训练似乎改变了模型使用这一电路的时机及其作用强度。针对这些多项选择偏见的缓解措施可以着眼于这一电路。