$\sigma$Transfer：$\mu\mathrm{P}$下从小型网络向大型网络传递不确定性

arXiv:2610.11668v1 公告类型：cross 摘要：拉普拉斯近似中的可靠预测不确定性严重依赖于先验精度，但选择先验精度需要进行后验扫描，这对于拥有数十亿参数的神经网络而言成本高得难以承受。在最大更新参数化（Maximal Update Parametrization，$\mu\mathrm{P}$）下，我们推导出一种先验协方差的重新缩放方式，使得所选精度能够随着模型宽度的增长保持稳定。由此得到$\sigma\mathrm{Transfer}$：我们在较小模型上选择精度，并将其零样本迁移到大得多的模型上，即完全无需在大型模型上搜索精度。我们在明确条件下证明了先验核、后验协方差、所选精度以及由后验导出的决策均会收敛，并在回归、图像分类和Transformer读出任务中验证了$\sigma\mathrm{Transfer}$。例如，在MNIST上将宽度为128的模型迁移到宽度为4096的模型时，测得的精度扫描加速比达到约$5000\times$，而目标NLL仅下降$0.002$；将一个公开的1B模型迁移到7B模型时，中位数搜索加速比为约$2.3\times$（最高约$330\times$），在十项任务上的平均测得目标NLL增幅低于$10^{-4}$。相同的后验稳定性还支持在无需构建目标后验的情况下，迁移采集、OOD检测和拒答决策。