贝叶斯原理的 Fenchel-Young 推广

arXiv:2502.10295v4 公告类型：替换 摘要：共轭贝叶斯方法在机器学习中发挥着关键作用，确保后验更新在计算上简便。我们利用 Fenchel-Young（FY）不等式推广了这一计算背后的变分原理，从而能够定义超越 KL 几何的广义证据下界，并在等号成立时刻画新的广义后验分布。由此得到一种广义共轭概念，其定义为先验势函数族在由损失引起的平移下具有仿射结构且保持封闭。我们证明，这类函数族不仅保留了加性的自然参数更新方式，还支持具有参数依赖支撑集和尾部厚度可调的后验推断。标准共轭贝叶斯方法无法兼具这些特性。我们推导了期望最大化（EM）的一种新的 FY 推广，它涵盖经典 EM、Hard EM 及其摊销版本。我们展示了若干示例，包括具有闭式有界支撑后验分布和重尾后验分布的广义贝叶斯线性回归，以及具有稀疏簇分配的高斯混合模型。