Transformer 作为上下文内采样器：从闭式扩散到无需估计的采样

越来越多的研究表明，大语言模型并非只是统计记忆器，而是具备上下文内学习能力：仅使用提示词中提供的示例、无需更新任何参数，就能在测试时执行推断。此前的理论研究已表明，这种能力可以扩展到线性回归等监督学习任务。我们证明，上下文内学习还可以进一步扩展到\emph{数据生成}：冻结的 Transformer 能够根据上下文内的样本模拟迭代式生成采样器。我们首先表明，Transformer 可以实现闭式扩散采样器和经过平滑的闭式扩散采样器。该构造揭示了 softmax 注意力的一种具体生成作用：它计算责任权重和加权经验平均，而前馈层则实现欧拉更新。 为了在经验上将这些构造与预训练语言模型联系起来，我们研究了\emph{语义主题采样}：提示词由来自同一语义类别的词语组成，例如动物、食物或城市。在 Transformer 的各层中，归一化隐藏状态呈现出两阶段几何结构：它们在中间层逐渐趋向一个均匀的球面参考表示，随后在接近输出的层中回归到具有结构化、依赖主题的表示。我们进一步在这些隐藏状态构成的点云上测量相互作用粒子能量，并观察到相同的 U 形模式。随后，我们证明 Transformer 可以近似一种基于能量的采样器，并在各层中构造出相同的 U 形能量。