专门化之前的上下文学习：可解主题模型中的学习理论
In-Context Learning Before Specialisation: Theory of Learning in a Solvable Topic Model
精选理由
理论揭示数据规模如何决定模型在专化与上下文学习间切换，助力理解泛化能力与风险
AI 摘要
arXiv:2610.21901v1 发布类型：新增 摘要：序列模型可以以根本不同的方式实现泛化：外推训练中见过的结构，或利用提示来适应新任务。主导策略决定了模型在训练分布之外的行为，从而影响其潜在能力与风险。近期研究从理论上刻画了许多不同的策略，并从实证上描述了随着预训练数据的质量和数量变化，这些策略之间的转变。然而，目前尚无关于这种竞争的学习理论，因此也无法从根本上理解为什么某一种解决方案可能比另一种更受青睐。在此，我们在一个可解的主题模型中提出了这样的理论——文档从潜在主题的有限混合分布中抽取，以反映现代预训练数据的异质性。该数据集具有两种不同的解决方案：一种是专门化预测器，用于存储有限的主题混合分布；另一种是上下文预测器，对于训练期间从未见过的主题而言是最优的。我们的理论预测了它们在不同的样本复杂度下出现：上下文预测器较早即可获得，而专门化预测器只有在训练词元数量超过数据生成过程的参数数量后才会出现。训练得到的 transformers 重现了这两个尺度以及二者之间的分界交叉点，并且与理论取得了惊人的一致，无需拟合参数。