超出支持集，但并非遥不可及：使用不受支持的指令和组合任务进行上下文学习

arXiv:2610.23528v1 公告类型：new 摘要：上下文学习（In-Context Learning，ICL）使预训练的大型语言模型（LLMs）能够仅凭少量输入—输出示例适应下游任务，而无需更新参数。然而，现有理论主要将 ICL 解释为识别预训练中已经表示的潜在任务，因此尚不清楚当指令或目标任务超出预训练支持集时，ICL 是否仍能成功。我们在温和假设下构建了一个理论框架，将这两种分布偏移形式区分开来。对于预训练中有所表示的目标任务，我们证明，示例能够识别任务，并且随着示例数量增加，模型对预训练所支持的提示模板的敏感性会降低。对于不受支持的指令，我们证明，在固定的模型诱导参考扩展下，示例证据能够压倒一种与 $N$ 无关的指令偏移，同时保持指数级的识别速率。随后，我们将同一 ICL 框架用作解释工具，分析那些未在预训练中表示、但可以通过一个计划分解为预训练所支持子任务的长时程目标任务。逐步应用受支持任务的分析，可得到一个标准的累积误差界，并阐明沿中间状态轨迹调用熟悉的子任务，如何避免直接选择不受支持的完整任务。总的来说，我们的结果刻画了示例、指令和任务分解在何种情况下能够支持 ICL 超越相应的预训练支持集。