arXiv cs.AI精选78

Direct Message Approximation (DMA):一种基于一致性的因子图可处理近似推断框架

Direct Message Approximation (DMA): A Consistency-Based Framework for Tractable Approximate Inference on Factor Graphs

· 19天前

精选理由

提出具理论保证的因子图近似推断方法,提升贝叶斯神经网络的不确定性估计。

AI 摘要

因子图上的近似消息传递构成了两大主流概率推断算法族的基础:期望传播(EP)和变分消息传递(VMP)。这两种方法都对每条因子边上的边缘分布进行近似,从而迫使算法采用迭代式轮询调度,带来产生负精度消息的风险;对于 VMP,还会在 Dirac-delta 因子处坍缩为点估计。我们提出 Direct Message Approximation (DMA),直接近似因子到变量的消息,而不是边缘分布。对于可归一化因子,我们定义了一种一致性条件(要求当所有其他输入消息均为 Dirac-delta 时结果精确),以指导消息构造。我们证明了一个主定理(适用于正规消息和任意图),利用消息 KL 散度界定边缘分布 KL 散度,并得到三个结构性推论:Dirac 输入一致性、无需 EP 式内循环迭代,以及不会产生负精度消息。此外,我们还为乘积因子的固有不正规反向消息证明了互补的 $O(1/r^2)$ 保证;此前工作一直未能对该消息进行闭式处理。作为具体实例,我们推导出了乘积因子和 leaky-ReLU 因子的显式 DMA 消息,并组装出一种贝叶斯神经网络(BNN)推断算法:每个训练样本只需进行一次前向/反向扫描,且无需设置梯度学习率超参数。结果验证了这些结构性保证确实转化为预测不确定性:在数据稀疏区域,不确定性会扩大,即使存在模型失配也是如此。

查看原文(arXiv cs.AI)