真相从未消失：合规上下文真值探针中的完美别名

arXiv:2609.10739v2 公告类型：替换 摘要：有人提出使用从语言模型激活中解码真相的线性探针来监测欺骗；而当一个经过欺骗训练的模型上的真值探针得分低于随机水平时，人们自然会将其解读为模型隐藏了真相，或不再表征真相。我们表明，拟合标签歧义也能产生相同的读出结果。在一个受控博弈中，模型应向盟友报告一个秘密比特，向对手报告其补码。在合规（盟友）上下文中，真实比特与任务规定的答案是相同的标签，因此，在这些上下文上拟合的探针无法判断自己测量的是二者中的哪一个。我们将这种完全一致称为完美别名。在对手上下文中，这些标签互为补码，因此，一个在盟友上下文上拟合的探针分别针对这两个标签进行评分时，其对手 AUROC 之和为 1。将盟友和对手上下文结合起来进行混合拟合，会使两个标签产生差异；随机化的输出编码表也会使任务规定的答案与输出字母解耦。对于一个经过奖励训练、在所有评估的对手试验中都给出虚假答案的 Gemma-2-9B 策略，在最终层上，盟友拟合的探针 AUROC 为 $0.006 \pm 0.005$（三个 RL 训练随机种子上的均值 $\pm$ 样本标准差），而在相同留出激活上，混合拟合的探针得分为 1.000。混合拟合还使用了更多样本和带标签的对手数据，因此这表明真实比特仍可被线性恢复，而不是说明仅仅分离标签就能解释性能提升。在遵循指令的 Llama-3.1-8B 中，在一个提示变体上重新拟合的探针，以及一个从参考变体中获得并冻结的探针，在留出的盟友数据上准确率都为 1.000，但在相同试验上的对手真值 AUROC 分别为 0.080 和 0.986。我们的主要实验使用一种单一令牌的博弈，其中提示词明确给出了该比特，因此恢复出的方向可能读取的是模型保留的一份副本；而在模型必须推断该比特的情况下，没有任何受测实验条件能稳定地产生欺骗。我们研究的是探针测量了什么，而不是模型是否使用了这些信息。