利用任务算子捕捉上下文学习动态

arXiv:2610.01054v1 公告类型：交叉发布 摘要：上下文学习（ICL）使语言模型能够通过示例执行新任务，而无需更新权重。然而，每次 ICL 推理都需要处理完整的示例集，导致部署效率低下，而且 ICL 的运行机制尚未得到充分理解。先前的研究将 ICL 压缩为从特定层或位置提取的固定激活向量，但这种与输入无关的干预在输出依赖于与输入的细粒度交互的复杂任务上会失效。通过分析 ICL 的前向传播过程，我们表明，每个注意力头的输出都是其上下文被屏蔽时对应输出的仿射变换，而且实验表明，对于给定任务，该变换的参数在不同样本间保持稳定。在此基础上，我们提出 Task Operator（TO），将这一变换转化为通过解析推导得到的注意力输出投影更新，从而复现该变换。在词汇、算法和推理任务上，与先前方法相比，TO 取得了最佳的整体性能，并显著缩小了零样本推理与 ICL 之间的差距。我们进一步表明，提取的知识集中在一个跨层、跨位置的任务特定稀疏回路中，而且对来自互不重叠的示例批次的算子取平均，能够在不扩展上下文窗口的情况下有效扩展至多样本学习。我们的代码已公开，地址为 https://github.com/gzxiong/task_operator。