面向小型 LLM 中欺骗性行为的 SAE 特征提取与引导

arXiv:2610.20638v1 公告类型：新 摘要：随着前沿模型能力不断提升，以及其造成灾难性危害的风险不断增加，对欺骗性对齐的研究变得日益紧迫。对齐伪装是欺骗性对齐的一种形式，而合规差距则是其关键行为指标。这种行为在小型 LLM 中仍缺乏研究，且以往的机制性干预尚未被证明能够缓解合规差距。我们测试了引导与义务论伦理相关的 SAE（稀疏自编码器）特征是否能够缓解这种行为。我们采用一种新颖的词袋特征提取流程来进行 SAE 引导，以识别我们所理解的概念层面引导方向。我们的方法在 Gemma-3-27B-IT 中将合规差距降低至不显著水平，而在 LLaMA-3-8B-Instruct 中，所测试的配置并未奏效。对思维草稿轨迹的分析还揭示了我们称为“欺骗性去锋”的模型行为：在保留对齐表象（在本例中表现为对有害请求的有帮助式合规）的同时，故意削弱响应的对齐功能（在本例中为避免危害的功能），有时还会根据等级、训练过程或 RLHF 后果而表现出差异。这些发现据我们所知首次表明，在对齐伪装设置中，机制性的激活层面干预能够缓解合规差距。它们还识别出一种欺骗性行为形式，可能拓展我们对 LLM 中不同欺骗性行为形式的理解。