零数据自博弈预训练

语言建模的进步一直得益于在越来越多的数据上扩展预训练。然而，训练数据仍主要是由人类替模型整理的。更通用的预训练方法应当让模型学会生成对自身改进最有用的数据。这样便能提供一个实际上不受限的训练数据来源，其上限取决于计算量，而非人类知识。我们提出了零数据自博弈预训练，这是实现这一愿景的初步概念验证。我们的方法借鉴 Solomonoff induction，将合成数据生成视为在所有可计算结构空间中的搜索。从随机初始化开始，两个模型协同学习：生成器提出由通用图灵机解释的程序，并生成字节序列；学习器则自回归地预测这些字节序列。学习器采用标准交叉熵进行训练，而生成器采用强化学习进行训练，以生成处于学习器能力前沿的序列，从而形成自适应课程。通用图灵机为我们提供了一个涵盖所有可计算数据生成过程的搜索空间，同时几乎不施加特定领域结构；自博弈则在这一空间中搜索有用的训练数据。我们测试了自然数据上的零样本性能是否会随着自博弈计算量的增加而呈现可预测的改善；由于生成器和学习器都没有在自然数据上训练，这为迁移能力提供了一个干净的测试。在多个自然数据集上，零样本损失都表现出随计算量变化的可预测缩放规律。这些模型还表现出上下文学习能力，并在训练过程中发现了可辨认的数学序列。