学习一个事实不等于学习如何检索它

一个经过“X 的首都是 Y”训练的模型，在接收到“X 的首都是”后可能会生成“Y”，但在接收到“X 的首都是：”后却无法生成。我们将以不同方式引出同一事实的形式称为请求形式。为了区分学习事实与检索事实，我们分两个阶段训练两个模型。第一阶段（请求形式训练）中，一个模型以五种形式接触每个事实，另一个模型则只以陈述句形式接触相同的事实。第二阶段（目标事实训练）中，两个模型都接受关于新事实的完全相同的训练，且所有内容均为陈述句形式。随后，两个模型从陈述句中检索新事实的能力几乎相同，但在其他请求形式下却表现出明显差异。因此，模型可以在学习事实之前，先学会如何通过某种请求形式进行检索。为理解这种差异，我们考察答案之前紧邻位置的隐藏状态，并将其称为上下文状态。当接收到同一事实的两种不同请求形式时，第一阶段接受五种形式训练的模型所产生的上下文状态，比该阶段仅接受陈述句训练的模型所产生的上下文状态更加相似。在检索时改变这一状态，可以启用或阻止对已学会事实的检索，而且这种效果可以跨事实和事实关系迁移，例如首都和货币。为检验上下文状态在学习过程中的作用，我们仅在目标事实训练期间改变上下文状态。这种干预会改变模型之后的检索表现，即使测试时不进行干预也是如此。综合来看，这些结果表明，之后的检索取决于更早的请求形式经验，以及事实学习期间的上下文状态。