从复制到组合：语言模型如何发展上下文学习能力

arXiv:2610.19113v1 公告类型：交叉发布 摘要：上下文学习（ICL）使语言模型能够根据提示中的指令和示例调整自身行为，但仅凭准确率无法揭示上下文信息如何控制模型的预测。我们通过一项受控诊断研究 ICL 的习得及其可训练性，区分复制邻近示例与整合提示中各处信息这两种行为。在 17 个模型中，约三分之一偏好复制所得的答案，少数没有明确偏好，其余则偏好符合规则的答案；后一种偏好伴随着更高的准确率，且模型受所请求的值控制，而非受最近的冲突示例控制。对训练检查点的分析表明，早在准确率提升至高于随机水平之前，模型就已开始优先关注提示中与任务相关的词元，而非冲突示例。在条件匹配的训练实验中，使用先定义结尾再针对其提问的合成文档进行训练，会使模型在受控诊断中更倾向于给出组合式回答；而使用基于改写后的真实文档构建的定义练习进行微调，则能提高模型在提示重新指定标签含义时的准确率。这些结果表明，ICL 并非作为一种单一、统一的能力习得。相反，提示控制、答案偏好、无候选项构建以及迁移可以沿着不同的轨迹发展。