事后进行预训练干预：跨检查点嫁接模型信念

arXiv:2610.00767v1 发布类型：新 摘要：预训练干预对对齐研究至关重要，因为模型在预训练期间形成的信念会影响其从后续训练中进行泛化的方式。最近一种广受关注的干预技术是合成文档微调（SDF），旨在改变模型所相信的内容。理想情况下，合成文档应混入预训练或中期训练中，但对预训练语料库的任何改动，都必须在测量其效果前进行一次完整的后训练流程，这使得迭代缓慢且成本高昂。因此，通常的做法是对已经完成后训练的模型应用 SDF。已知这会留下伪影并削弱模型能力；正如我们所展示的，它还会使模型将与这些文档无关的虚构实体当作真实存在的实体，我们将这一失败称为现实漂移。我们提出了“嫁接”方法：在预训练检查点上训练 SDF 适配器，然后将所学到的权重更新添加到后训练模型中，从而在复用现有后训练成果的同时，近似忠实的实现方式。我们在多个模型系列上验证了这一方法，模型规模最高达 284B 参数，涵盖植入虚假事实、训练失对齐模型生物，以及应用宪法式中期训练干预等场景。与直接对后训练模型应用 SDF 相比，嫁接能够同样强有力地植入目标信念，同时使现实漂移和偏好一致性损失平均降低一半以上，并且更接近忠实的中期训练结果。由于嫁接不需要后训练，同一个适配器可以应用于任何后续检查点，使研究人员只需付出一次微调运行的成本，就能快速迭代预训练干预。