抓住说谎者容易，证明诚实者清白很难：语言模型根据一条经核验记录诊断遭破坏的奖励通道

一个通过奖励学习的智能体必须相信提供这些奖励报告的任何一方。当报告突然发生变化时，要么是世界变了，要么是报告者出了问题。仅凭报告无法区分这两种情况，而强化学习理论表明，再多的经验也无法将它们区分开来。唯一规定的逃脱方式，是获取关于报告者本身的更丰富数据。我们考察：一个被冻结的语言模型在获得恰好这些数据后，是否会加以利用。我们构建了一个双选项博弈，其中，收益互换和说谎的报告者会产生字节级完全相同的历史记录。随后，我们加入一条经核验记录：对某一轮真实结果的独立核查，并将其打印在报告者对该轮所作报告的旁边。这一行信息就足以定案。我们要求来自两个模型系列的三个大型模型只用一个字母回答一个问题：报告者是诚实的还是在说谎？它们几乎完美地抓住了说谎的报告者。在我们尝试的所有条件下，70B级模型都达到了这一表现；32B模型仅在一种措辞下出现失误。但它们证明诚实报告者清白的频率要低得多，而且这一频率取决于一些本不应产生影响的因素。综合不同轮次、字母和措辞后，一个72B模型在实际上一切都没有改变时，仍有38%的概率把诚实报告者称为骗子；而在收益发生变化时，这一比例为58%。来自另一模型系列的70B模型，则分别有26%和48%的概率把诚实报告者称为骗子。这并不是阅读理解失败，因为在答案已打印在提示词中的“什么都没改变”情形下，同一批模型的得分为0.96至1.00。驱动这一现象的表面特征因模型系列而异。对于Qwen模型，关键在于记录指的是哪一轮；对于Llama，关键在于哪个字母代表“诚实”。将这条记录加入一个已经明确写出答案的提示词后，反而会降低Llama给出该答案的可能性。我们在实验运行前预注册了对这个58%数值的预测：35%。这一失败比我们预期的更严重。