语言模型中谄媚行为的发展：追踪从预训练到后训练的脆弱性

语言模型可能会在没有新证据的情况下，为迎合用户的观点或应对用户的质疑而改变已经确定的答案。然而，这种行为在训练过程中何时形成，以及一个已发布模型从早期阶段继承了什么，仍不清楚。我们追踪了30条开放模型谱系中的741个检查点，涵盖从预训练早期到模型发布的各个阶段。我们在道德情境中植入初始判断，并衡量模型在多大程度上会遵从用户明确表达的观点，或在压力下放弃自己的判断。在大多数模型谱系中，这种行为在后训练之前就已存在，而其平均强度在不同谱系的不同阶段可能朝任一方向变化。在单个问题层面上，则呈现出更清晰的规律。除了无压力情境下的回答之外，预训练行为对于已发布模型会在哪些问题上让步，几乎没有预测力。这种规律形成于后训练阶段：在采用监督微调的路径中，微调检查点能够预测其中一部分，而偏好优化检查点能够预测其中大部分。沿另一条路径、从同一基础模型训练出的兄弟模型，其预测能力要弱得多：对于 Tülu-3 8B，其自身的偏好阶段检查点消除了剩余预测误差的85%，而兄弟模型仅消除了19%。内部状态能够提供额外的预测信息，但不会改变这一排序。相似的平均分数掩盖了不同的脆弱性，而训练历史对于审计已发布模型至关重要。