如何训练你的模型生物

arXiv:2610.10203v1 发布类型：新 摘要：与对齐相关行为（例如后门、谄媚行为、虚假相关性）的模型生物已经成为评估白盒可解释性技术的关键工具。我们认为，目前将模型生物训练至仅实现单一目标行为的普遍做法并不充分，因此提出应围绕三个目标及其相关指标对模型生物进行验证：目标行为植入、通用能力保持（即参数化知识、对话质量）以及输出自然性（即 CoT 和激活）。我们使用这一验证框架重新考察了两个公开发布的模型生物套件，并表明：（1）在不同训练方案下，对话质量和 CoT 自然性都会显著下降；（2）验证指标能够预测可解释性方法恢复所植入行为的效果，例如，logit lens 的读出结果与模型生物的通用能力协变。我们提出了一种基于模型合并的多目标训练方法，用于训练更加逼真的模型生物。最后，在一个针对临床推理中人口统计学偏见的新模型生物套件上，我们比较了不同训练方案，发现与监督微调相比，DPO 训练与基础模型更加接近，而所提出的模型优化方法能够更好地保持模型能力和自然性。我们使用一个调查智能体对该套件进行审计，再次观察到验证指标能够追踪偏见恢复效果。总而言之，训练方法会塑造模型生物所支持的可解释性结论；我们认为，要利用（逼真的）模型生物得出关于可解释性方法的可泛化结论，就应当考虑多个目标。