先验数据拟合网络在多大程度上实现了贝叶斯推断的摊销？

arXiv:2610.13764v1 发布类型：cross 摘要：先验数据拟合网络（PFNs）经过训练，用于近似合成先验的贝叶斯后验预测分布（PPD），但关于其近似质量的研究结果却出人意料地有限。我们从经验风险最小化的角度出发，将 PFNs 的部署误差分解为先验误差、上下文误差和摊销误差，并在现实先验下，以参考 PPD 为基准衡量摊销误差。结果表明，PFNs 通常能够很好地恢复目标 PPD。然而，我们发现，部分残余摊销误差仍然存在，尤其是在先验预训练分布下的\textit{罕见}情形中；即使扩大模型规模，这种误差仍未消失。这表现为独立预训练的 PFNs 之间存在分歧，并导致推理时预测器的不确定性。作为补救措施，我们研究了多种类型的贝叶斯模型平均，发现它们能够持续降低这种不确定性，并改善预测效果，直至全尺寸 TabICLv2 模型。