语言模型语言评估中的提示与概率：来自语义焦点敏感性的证据

随着语言模型（LMs）的能力不断提升，通过明确提示来评估其语言能力的做法日益普遍（例如：“哪个句子更可接受？”）。既有研究表明，在较小的模型中，这类提示的表现不如基于标准词元概率的方法，但在较大的模型中则有所提升。我们在一个新的领域——语义焦点敏感性——中检验了这一点。语义焦点敏感性解释了如下对比：“Lucy 昨天只是在游泳”与“Lucy 只在昨天游泳”。我们使用粗体和斜体等基于文本的焦点标记，对不同规模的模型进行测试，发现词元概率在所有模型中都稳定地取得了高于随机水平的表现。提示法的结果总体上与既有研究发现一致，但在一些较大的模型中，其表现大幅优于概率法。我们认为，这是因为LMs不倾向于在缺乏上下文的情况下产生焦点标记，而这会以一种不影响提示法的方式干扰词元概率的结果。我们通过用随机生成的标记替代标准焦点标记来检验这一点；词元概率仍然优于随机水平，但与提示法相比，其表现下降幅度显著更大。这些结果表明，尽管元语言提示对LMs而言并非易事，但在测试风格上非典型的数据时，它也可能更加稳健。我们认为，即使LMs并非通过类似人类内省的方式进行元语言判断，这一发现仍会对评估LMs的语言能力产生重要影响。