压力下坚持原则：后训练决定 LLMs 是否会依照自身的道德判断行事

arXiv:2610.08670v1 公告类型：新 摘要：语言模型日益充当智能体。一个声称某项行为是错误的、却仍然采取该行为的智能体，与一个并不知道该行为错误的智能体所犯的错误不同，而对其所声明价值观的评估无法识别这种差异。我们针对五类压力，构建了一个包含248个场景、并经过预注册的场景组。每个场景都向同一模型提出两次：一次让模型作为智能体选择行动，另一次则以第三人称询问哪个选项是正确的，以此将模型自身的判断作为参照。每个场景都有一个移除压力后的对应版本；同时，每个模型还接受一个正向对照，其中其操作者命令它采取违规行动，从而可以区分真正不存在差距与模型像盲人仪器一样执行命令这两种情况。在 OLMo-3-7B-Instruct 上，模型在约五分之一的施压场景中采取了自己判定为错误的行动，而且这一比例高于移除压力后的相同场景。在四个 instruct 模型中，这一差距取决于后训练方案：OLMo-3 和 Meta's Llama-3.1-8B-Instruct 存在该差距；Tulu 3 在整个场景组中均未显示出差距（概率上高于约0.01），在其自身压力最大的场景中也未显示出差距；Qwen2.5-7B-Instruct 在整个场景组中均未显示出差距（高于约0.02），而在其自身场景中的结果尚未确定（0.083，区间为 -0.028 至 0.195）。Meta's 方案与 Ai2's Tulu 3 都以相同的 Llama-3.1 权重为起点，但只有 Meta's 方案保留了这一差距。在没有任何利害关系的情况下，将聊天模型置于其聊天模板之外进行读取，会反转其差距的符号（在 OLMo-3 上，使用模板时为 +0.055，而不使用模板时为 -0.038）；三种方案中有两种存在这种扭曲。在表现出该差距的两个模型上，在行动前对利害关系进行推理，会使选择重新趋近于模型自身的判断；与同长度的非道德任务相比，无论是否施加压力，结果都是如此。在 OLMo-3 上，明确指出所涉及的规范，其效果约为前述效果的三分之一。这一差距是后训练方案可测量的目标，而不是预训练权重所固有的固定属性。