Synthetic Persona Pretraining：从零号 token 开始的对齐

随着基于语言模型的 AI 越来越多地被部署在自主场景中，使其目标和价值观与人类保持一致变得至关重要。如今，对齐以及助手身份本身通常只在预训练之后才被引入，此时行为先验已经建立。这可能使价值观成为一层薄薄的覆盖，而不是深深扎根，并促进后续的错位。为探索一种不同的范式，我们引入 Synthetic Persona Pretraining（SPP），它在预训练中从零号 token 开始安装期望的助手 persona。首先，我们用源自规范性价值宪章的、价值对齐的第一人称反思来标注预训练文档。其次，我们通过标准交叉熵损失，在标准预训练文档及其反思上进行预训练，从而在众多其他 persona 之中安装期望的 persona。最后，我们在用户-助手对话数据上进行后训练，将这个期望的 persona 绑定到助手身份上，这一过程我们称为 persona binding。通过在 500B token 上预训练最高达 3B 参数的模型，我们表明，SPP 提高了对宪章的遵循能力和对越狱的鲁棒性，并降低了分布外道德困境中的错位率，同时保留了能力。早期干预很重要：与从零号 token 开始对齐相比，仅在预训练末尾引入 SPP 会导致较弱的宪章遵循，不会改变价值优先级，并在困境中导致较少对齐的选择。这一优势依赖于 persona binding，并且重要的是，会随着预训练预算的增加而增强。总体而言，我们的结果表明，早期塑造价值观对于对齐至关重要，并确立了预训练阶段的 persona 干预是一种实现这一目标的有效方法。