arXiv cs.LG精选73

奥卡姆剃刀的锋利程度取决于你的 ELBO

Occam's Razor is Only as Sharp as Your ELBO

2026/10/12 12:00· 2天前

精选理由

揭示变分后验的协方差假设如何导致信噪比误估与欠拟合或过拟合，助力更谨慎地进行大模型选型。

AI 摘要

arXiv:2604.25984v2 公告类型：replace-cross 摘要：边际似然又称证据，被视为奥卡姆剃刀原则的数学体现，能够实现避免过拟合的超参数选择。变分推断中的证据下界（ELBO）目标也被用于类似目的。本文根据控制信号和噪声方差的关键超参数，定义了贝叶斯线性回归的信噪比（SNR）。随后，我们研究了基于 ELBO 的超参数学习如何因高斯近似后验所假设的协方差矩阵结构不同而低估或高估 SNR。我们证明，假设协方差矩阵为对角矩阵或低秩加对角矩阵会低估 SNR，而假设其为低秩矩阵则会高估 SNR。低估 SNR 会使训练集上的均方误差高于最优水平（欠拟合），而高估 SNR 则会使误差更低（过拟合）。希望将贝叶斯方法扩展至大型模型的实践者应谨慎考虑：为确保计算可行性而采用的协方差假设可能如何影响模型选择。

查看原文（arXiv cs.LG）