超越 KL 几何的贝叶斯学习规则

arXiv:2610.31308v1 公告类型：新论文 摘要：贝叶斯学习规则（BLR）利用贝叶斯更新与 Kullback-Leibler 散度（KLD）之间的关系，为指数族变分后验推导出高效的加性更新。KL 几何虽然强大，但也存在限制：当它与支撑集依赖于参数的后验分布族结合时，可能导致目标函数无定义。我们探究哪些非 KL 几何能够保留 BLR 的加性计算。此前使用 $f$-散度的研究表明，只有 KLD 才能做到这一点。然而，我们证明事实并非如此。我们表明，对于混合空间 Bregman 或 Fenchel-Young 差异这一类度量，可以推导出加性信息几何优化算法。这些差异度量诱导出广义最大熵分布族、对偶坐标和广义 BLR 的典范梯度更新，并可恢复经典 BLR。广义 BLR 带来了\textit{无法}从基于 KL 的 BLR 推导出的新算法。对于采用二次统计量的 Tsallis 负熵，广义 BLR 可得到具有有界支撑集或重尾特性的 $q$-高斯后验分布，并提供一种简便的类 Newton 实现。在规模涵盖 CIFAR-100 的实验中，该方法展现出可控的支撑集与尾部行为，以及具有竞争力的性能。