语言模型中 Grokking 的预训练类比：追踪延迟的语法泛化

arXiv:2606.00230v2 发布类型：替换 摘要：Grokking 是一种神经网络在拟合训练数据很久之后才实现泛化的现象，过去主要在监督学习设置下经过多个训练轮次进行研究。相比之下，LLM 预训练涉及在未标注语料库上进行下一个词元预测，数据重复次数有限，且没有显式的训练集/验证集划分。为此，我们提出了一个基于曝光度的框架，用于研究 LLM 预训练期间类似 Grokking 的动态过程。我们以 BLiMP 最小对为评估基础，这些最小对提供了受控的语法对比。对于每个 BLiMP 最小对，我们识别出一个关键短语，即能够捕捉语法对比及相关现象所需上下文的最小连续跨度。将关键短语出现在预训练窗口中的样本分配到 proxy-train 划分，其余样本分配到 proxy-validation 划分。在五种语法现象中，我们观察到了延迟泛化。通过分析泛化前后的预训练检查点，我们发现，泛化后，语法概念向量对语法可接受性的预测能力更强，并且占据更高维的子空间。我们还发现，从关键词元指向相关上下文词元的注意力集中在少数几个注意力头上。