通过上下文学习进行自适应均值估计：梯度流分析

arXiv:2610.07804v1 公告类型：新 摘要：诸如 TabPFN 的 Prior Fitted Networks (PFNs) 在预测和估计任务中如今已足以媲美成熟的统计方法。一个自然的解释是，PFNs 具有统计自适应性，即对于一组异质模型，在事先不知道数据来自哪个模型的情况下，其表现仍几乎与针对真实数据生成模型定制的方法一样好。我们在一个受控的位置估计问题中研究这种自适应性是如何被学习到的。每个任务都是一个未标注样本，其所属分布族是隐藏的：对于高斯数据，应采用平均法，误差阶为 $n^{-1}$；而对于均匀数据，利用样本极值进行估计效果最佳，收敛速度更快，达到 $n^{-2}$。我们还给出了对称高斯混合的例子，在这种情况下可以达到 $\sigma^2_n/n$ 的速率。在标量输入上，softmax 注意力计算经验累积量生成函数的导数。因此，一个单一的基本算子既能提供区分不同分布族的特征，又能构造出在样本均值与中程值之间插值的估计量。我们通过 softmax 专家混合或门控线性单元（GLU）组合注意力专家，并分析分阶段梯度流。在具有 $\widetilde{\Omega}(n^{1+\epsilon})$ 个预训练任务的情况下，所学习的估计量在高斯任务上渐近有效；在均匀任务上，其表现距离极小极大速率不超过 $n^{\epsilon}$ 倍；在方差收缩的情形下，对于混合分布，其速率达到阶最优。这些保证还可推广到新的位置参数和更长的上下文。风险分解将误差区分为专家误差、路由误差和归一化误差，从而阐明了两种架构之间的差异。softmax 门控强制实现归一化和精确的平移等变性，而 GLU 则必须学习这些性质：其动力学分为先快速消除偏差、再缓慢选择专家两个阶段。端到端实验重现了所预测的专业化现象。