模型声称拒绝某候选项的理由是否发挥了作用？

当被要求在候选项之间作出选择并解释选择理由时，语言模型常常会通过指出竞争候选项的资料中缺少某个事实来拒绝它：没有导演，没有逝世日期。这个句子是关于模型面前文本的一个断言，无需任何评判器即可对其进行检验。我们将一条真实语料库中陈述该事实的句子插入竞争候选项的资料中，并在贪心解码下再次提问。两个对照条件用于区分内容效应与位置效应：在同一份资料中加入一条长度匹配但无关的句子，以及将这两条句子放入模型从未提及的第三个选项中。在三次实验规模最大的一次中，基于 2WikiMultihopQA 的六个开放模型显示：在模型点名的候选项资料中补充该事实，相比加入无关对照句，能更大幅度地改变模型的选择，优势比为 3.57 [1.54, 8.26]，Holm p=0.0210；去掉任意一个模型后，这一结果仍然成立。该设计原本要检验的对比——将同一事实加入无人点名的选项——未通过校正，Holm p=0.2428。这一组结果中最强的结果完全不涉及内容断言：将完全相同的无关句子加入模型点名的竞争候选项，比加入第三个选项更能改变模型的选择，Holm p=0.0008。修复条件与对照条件在共同候选项提及、关系模板和流畅度方面也存在差异；对前两项进行事后匹配后，内容效应的方向仍然保持不变，而匹配流畅度会削弱其中一个效应，因此，内容对比限定了一个效应的范围，而不能确立该效应。对强制单词元概率的读取在同一对比上与自由文本选择的方向相反，针对这种不一致提出的三个候选解释也都未获得支持。所有测量都由字符串规则完成，因此我们都根据其读取的记录对这些规则进行了验证；验证发现了八处缺陷。其中最大的一处是选择解析规则：在 17.1% 的可判定回答中，它返回了模型刚刚拒绝的选项；如果不修正这一缺陷，报告出的存续对比将是六个，而不是四个。