LLM 引导编辑何时应依赖输入？

当且仅当查询所请求类别的内部目标发生变化时，激活引导编辑才应依赖输入，而这一点在拟合或应用任何规则之前即可测量。对比激活加法（Contrastive Activation Addition，CAA）向每个输入添加同一个固定方向，即类别均值之差。根据所请求的类别对其进行条件化，可以解释所需位移的类别间变化，同时保留类别内变化不变；而任何仅读取源状态的规则都无法表达这种类别内变化。我们研究了逐步增加引导编辑输入依赖性的影响：从均值之差，转向为每个查询检索一个目标——在所请求类别内，选取与查询最近的 $k$ 个存储状态的均值——其中两个基线分别构成端点：当 $k$ 等于类别大小时，检索规则就是类别条件均值之差。我们在六个替换语料库和一个外部基准上测量了输入依赖式引导效果；这些替换语料库在编辑对象是单词还是子句方面各不相同。结果发现，当目标在类别内部发生变化时，输入依赖式引导优于固定方向引导。在两个模型中，检索方法在每个替换语料库的每一层都取得更好表现；所需的输入依赖程度决定了应如何应用它：单词级编辑最好在网络最前面的十分之一部分、利用少量邻居完成；子句级编辑则可在任意深度利用类别均值完成。当类别本身已经决定答案时，类别均值就足够了，检索方法只能达到同样效果，但固定方向在这种情况下仍会失败。仅根据状态计算出的四个量即可识别应当应用该编辑的情形。