线性注意力能从非线性教师的上下文学习中学到什么？

arXiv:2610.10761v1 发布类型：cross 摘要：线性注意力是一种易于处理的模型，可用于理解 Transformer 中支配上下文学习的机制。对于线性回归任务，近期的渐近分析刻画了其学习行为和泛化行为。我们将这一理论扩展到非线性单索引目标 \(y=f(x^\top w)+\varepsilon\)。我们的主要结果确立了非线性—噪声等价性：线性注意力只能提取 \(f\) 的线性 Hermite 分量，而其余非线性结构则作为有效噪声，对泛化误差产生贡献。这一化简使得相应线性理论的结果能够迁移到非线性任务中。我们展示了该结论对有限预训练数据的影响，以及随着任务多样性增加，从任务记忆到任务泛化的转变。这些结果揭示了简化线性注意力模型的局限性，并为研究非线性上下文学习提供了一个易于处理的起点。