单索引目标的上下文学习：核学习器与特征学习器的比较

arXiv:2610.01712v1 公告类型：新 摘要：上下文学习（ICL）使预训练模型能够从示例中推断任务，而无需更新其参数。尽管现有理论大多聚焦于线性目标函数，本文通过比较作用于同一组单索引任务的两种单层注意力架构，研究非线性情形。核学习器首先通过固定的非线性特征映射对输入进行变换，然后应用线性注意力；而特征学习器则直接对原始输入应用注意力，随后使用学习得到的非线性读出层。我们采用复制方法推导出这两种学习器在记忆误差和泛化误差方面的预测，同时保留预训练规模、任务池多样性以及训练和推理上下文长度的影响。在广泛的条件范围内，这些预测结果与数值实验高度吻合。我们的分析给出了相图，用于刻画随着预训练数据量、任务多样性和上下文长度变化时，各种架构在何种情况下更具优势。我们还发现，两种学习器的上下文长度缩放规律存在定性差异。总体而言，这些结果阐明了架构选择如何与数据集相互作用，并决定非线性上下文学习的表现。