Prior-Data Fitted Networks中谱结构的机制性证据

arXiv:2601.21731v3 公告类型：替换 摘要：Prior-Data Fitted Networks（PFNs）通过一次前向传播执行近似贝叶斯推断，基于其构建的表格基础模型（TFMs）如今已得到广泛应用。为了理解网络内部进行的推断，近期针对TFMs的机制研究定位了预测形成的位置，但将这些模型视为表格预测器，而非PFNs。因此，PFNs是否表示其上下文的谱内容——即决定平稳核的量——以及这种内容是否能够被读出为显式核，仍是未知的。我们回答了这两个问题。首先，在七个PFNs中（包括四个预训练TFMs以及一个仅在决策树先验上训练的模型），残差流上的线性探针能够以$R^2 \geq 0.95$恢复上下文的频率。这一结构主要由单个主方向引导。其次，激活修补和子空间修补表明，网络通过一个低维子空间利用这一结构；在该子空间中，少数谱方向对预测的推动作用远大于随机方向。即使对于决策树模型，这一结论仍然成立，因此并不需要谱训练先验。在最多包含499个特征的真实数据集上，在除一对之外的所有数据集对中，TabPFN的192个方向中有64个（无需标签即可选出）承载了上下文因果效应的85%至95%。第三，我们引入Filter Bank Decoder，通过Bochner定理将冻结的PFN表示转换为显式平稳核。无需任何测试时优化，解码得到的核即可支持高斯过程回归，其性能可与深度核学习和随机傅里叶特征相竞争，而成本约低$200\times$。因此，PFN潜表示包含可被因果性利用、并可恢复为可移植核的谱结构。