为魔鬼代言：现成的人格向量在抑制谄媚行为方面可与针对性引导媲美

arXiv:2605.21006v4 发布类型：replace-cross 摘要：语言模型往往表现出谄媚倾向：无论用户陈述的观点是否正确，它们都会表示赞同。既有研究表明，可以通过使用谄媚人格向量引导模型来控制这一特征（Chen et al., 2025）。然而，这类向量是从关于谄媚行为本身的数据中提取的。我们探讨了这样一个问题：能否改为复用用于一般角色的现有向量——怀疑者、评判者、魔鬼代言人——这些向量的提取完全没有针对谄媚行为。我们在 Gemma 2 27B 和 Qwen 3 32B 上，将这些角色向量与专门构建的 Contrastive Activation Addition（CAA）谄媚向量进行比较。实验使用了一个大部分留作测试、经过反平衡处理的 PhilPapers 基准，并在单独划分的谄媚数据集上调节任务特定的系数。被选中的“关键”角色平均实现了 CAA 在降低谄媚 logit 方面约 68%（Gemma）和 98%（Qwen）的效果。在我们检查的探针上，较少表示赞同并不意味着会产生更多事实错误：对于 16 条真假事实陈述，由怀疑者或评判者向量引导的 Qwen 在全部 16 个案例中仍然给出了正确答案，与未引导模型和 CAA 的表现一致。“顺从者”角色并不能可靠地产生相反效果。在我们进行引导的层中，角色向量与测得的 CAA 方向之间的绝对余弦相似度也很低；它们是几何上相互独立的干预方式，尽管这本身并不能证明它们通过不同的下游机制发挥作用。总体而言，这些结果表明，即使在提取时没有使用谄媚行为特定标签，一般人格向量也能帮助缓解 LLM 的谄媚倾向。代码：https://github.com/vkmk1/Sycophancy-Steering 结果：https://github.com/kelkarI/sycophancy-clean-results