压力之下仍守原则：后训练决定 LLMs 是否会按照自己的道德判断行事

语言模型日益充当代理。一个说某项行动是错误的却仍然采取该行动的代理，与一个根本不知道那样做不对的代理，属于不同的失败类型，而对其所声明价值观的评估无法识别这种差异。我们构建了一个预注册的场景组，包含 248 个场景，涵盖五类压力。每个场景都向同一个模型呈现两次：一次让模型作为代理选择要做什么，另一次以第三人称询问哪个选项是正确的，因此模型自身的判断构成参照。每个场景都有一个移除压力后的孪生版本；此外，我们还为每个模型设置了一个阳性对照，即由操作者命令模型采取违反规范的行动，从而能够将真正存在的差距与盲目执行的工具区分开来。在 OLMo-3-7B-Instruct 上，模型在约五分之一的施压场景中采取了自己判断为错误的行动，这一比例高于同一场景移除压力后的情况。在四个 instruct 模型中，这一差距取决于后训练方案：OLMo-3 和 Meta 的 Llama-3.1-8B-Instruct 存在该差距；在整个场景组中，Tulu 3 未显示出这一差距（概率高于约 0.01），在最能对其施加压力的场景中也没有；Qwen2.5-7B-Instruct 在整个场景组中未显示出该差距（概率高于约 0.02），而在其自身最能施加压力的场景中，结果尚未确定（0.083，区间为 -0.028 至 0.195）。Meta 的方案和 Ai2 的 Tulu 3 都以相同的 Llama-3.1 权重为起点，但只有 Meta 的方案保留了这一差距。在不涉及任何利害关系的情况下，将聊天模型置于其聊天模板之外读取，会反转其差距的方向：在 OLMo-3 上，使用模板时为 +0.055，而脱离模板时为 -0.038；三种方案中有两种存在这种扭曲。在存在该差距的两个模型上，在采取行动前先推理相关利害关系，会使选择重新趋近于模型自身的判断；与等长度的非道德任务相比，无论是否存在压力，结果都是如此。在 OLMo-3 上，明确说出所涉及的规范，其效果约为这一作用的三分之一。这一差距是后训练方案可测量的目标，而不是预训练权重的固定属性。