推理模型的思维链真实性会随偏好线索传递的位置和方式而变化

Chain-of-thought（CoT）监测假设推理轨迹能够忠实记录塑造模型答案的信息。现有的忠实性测试往往把显式偏好线索放在用户消息中，而智能体可能会通过工具返回结果或原始工件接触到偏好。我们提出 FACE-Eval（Faithful Attribution of Cue Effects Evaluation），这是一个包含 5,100 个样本的评估，变量包括线索位置（用户消息或工具返回）和显式性（直接摘要或原始工件）。我们在遵循线索的回答中衡量口头承诺，并在所有带线索样本中衡量未言明采纳。我们评估了来自 8 个家族的 15 个 open-weight 模型，总参数规模从 4B 到 1.60T 不等。对于每个模型，工具返回中的线索比用户消息中的线索带来的口头承诺都更低，隐式线索也比显式线索更低。对于全部 15 个模型，工具返回线索的未言明采纳都更高；在 30 个模型-通道比较中的 28 个里，隐式线索的未言明采纳也更高。来源归因提示在 7 个模型上缩小了通道差距，有时是通过提高用户通道的未言明采纳；而告知模型其推理将被监测并不能可靠地消除这一差距。我们还使用两个转录监测器（GPT-5.6-Luna 和 GPT-4o-mini）来检测每个家族中最大模型的偏好采纳。在 32 个模型-通道-显式性单元中，更高的未言明采纳与两个监测器更低的检测能力相关（Pearson r=-0.54 和 r=-0.78，分别如此）。这些结果表明，在此测试的单次调用、预填充工具场景下，当偏好信息通过工具传入或必须从原始工件中推断时，CoT 监测可能不那么可靠。