通过针对探针进行训练实现对齐而不丧失可监控性

arXiv:2609.38645v2 公告类型：替换 摘要：模型通常基于其观测到的输出进行对齐，所使用的方法包括示范、偏好数据或奖励信号。这些目标会奖励看起来符合对齐要求的回答。能力更强的模型可能学会在不真正内化预期行为的情况下满足这些目标，例如在训练期间假装遵从。如果目标定义在模型内部而非输出上，这种表面上的遵从可能会更加困难。因此，我们研究了探针引导的微调方法，使用能够检测模型激活中不良属性的探针，将其作为直接的训练信号。我们在两种对齐目标——无害性和诚实性——下，评估了线性和非线性探针，以及每层使用不同数量探针的效果。我们发现，针对在训练期间不更新的探针进行训练，是一种容易被利用的目标；而持续更新的探针能够大幅降低有害性并提高诚实性，同时保持实用性。与DPO和推理时引导相比，探针引导的微调实现了更好的安全性—实用性权衡，并且对越狱攻击和abliteration攻击具有显著更强的鲁棒性。此外，微调后这些概念仍然保持线性编码，这意味着我们的方法不会丧失监督能力。因此，针对探针进行训练提供了一种塑造模型所表征内容的方式，而不仅仅是塑造模型的输出；随着模型越来越擅长让其输出看起来符合对齐要求，这种方式可能会变得日益重要。