超越全局散度：贝叶斯推断的局部质量视角

arXiv:2606.27090v2 发布类型：替换交叉版本 摘要：KL散度和ELBO等全局目标被广泛用于贝叶斯推断中的分布差异度量。本文研究这类全局目标无法直接刻画的分布“局部质量行为”。我们引入并使用两种数学工具：（1）Mass Index，用于记录局部质量的多项式衰减尺度和对数衰减尺度；（2）正则化扩展KL（RE-KL），一种集合局部化的散度，即使存在奇异分量时也可以进行定义。Mass Index有助于刻画贝叶斯更新如何改变局部质量：（1）幂对数似然因子会使其发生显式偏移；（2）依赖参数的支集，或其平滑化形式，可能通过保留在参数值附近的质量大小改变局部尺度。利用局部RE-KL，我们证明了在两个KL方向下比较局部小球质量的绝对不等式、相对不等式和方向性不等式。综合而言，这些结果从局部角度对局部质量行为给出了理论解释。实验对局部行为进行了受控展示，并表明，在ImageNet上直至ResNet-50的贝叶斯神经网络变分后验中，这种方向性比较仍然可见。代码见 https://github.com/Forsythia0604/Local-Mass-Framework。