预训练期间的知识获取？大型语言模型借助辅助视图学得更好

我们对大型语言模型（LLMs）在预训练期间如何获取知识的理解仍然存在空白。我们提出，辅助视图——即对知识的改写——在因果上有助于学习。我们设计了受控实验来分离这一因素。首先，我们确认重复对于获取是必要的，并澄清改写只在较小的批大小下才有帮助。其次，在固定 token 预算的情况下，将 token 从文档重复分配给辅助视图会提升学习效果，这反直觉地甚至对事实回忆也有益。第三，辅助视图的有效性并不取决于生成它们的教师模型有多强。第四，我们识别出两类知识形式：上下文性知识和基础性知识，它们能在先验知识缺口存在时促进学习。最后，我们考察这些效应如何通过逐层偏置和压缩在机制上体现出来。总之，我们的发现表明，在大型预训练语料中自然出现的知识辅助表征，是预训练成功的关键因素，并为数据多样性为何重要提供了一个合理解释。