大语言模型中安全相关行为的探测与引导

arXiv:2610.30363v1 公告类型：新论文 摘要：激活探针是通过计算得到的语言模型残差流中的方向，既可用于检测安全相关行为，也可通过将其方向加回残差流来引导这些行为。我们在同一套流程中，使用同一个模型（Llama-3.1-8B-Instruct），针对欺骗、高风险情境意识和谄媚三种行为，探索此类探针的主要设计选择如何相互作用。该流程将两种估计方法（均值差和逻辑回归）与三种词元池化方案（末位、均值和可学习注意力）进行交叉组合，选择适合检测或引导某种行为的层，并对每个方向进行两次评估：一次将其作为行为检测器，另一次将其作为引导向量，推动输出表现出该行为。综合既有研究可看出一种读写分离现象：逻辑回归的读取（检测）效果最佳，而均值差方向的写入（引导）效果最佳。我们发现，这一现象在欺骗和高风险情境意识上成立，但在谄媚上并不成立，后者呈现出相反的模式。这种反转似乎部分源于数据，而非估计方法。最佳池化技术和层的选择取决于行为与数据，而引导效果最佳的层可能远早于检测效果最佳的层。在改变模型认知与诱发行为之间，应采用哪种引导指标取决于任务，而且这两类指标可能得出完全相悖的结果。导出的探针和方向支撑了一个交互式界面，用户可通过该界面直接对文本进行评分和引导。