arXiv cs.LG精选78

广义 Matheron 变分隐式过程

Generalized Matheron Variational Implicit Processes

· 7天前

精选理由

提出适用于隐式函数先验的可计算变分推断方法,兼顾先验结构保真与后验灵活性。

AI 摘要

arXiv:2610.07938v1 公告类型:新摘要:隐式过程先验通过样本前向机制(如 Bayesian neural networks 和随机模拟器)来指定函数上的分布,但其函数空间密度通常无法获得。我们提出广义 Matheron 变分隐式过程(GMVIP),这是一种用于此类先验后验推断的路径式变分族。对于高斯过程先验,GMVIP 可恢复标准的诱导变量变分高斯过程构造;对于一般隐式先验,其经验协方差构造在总体极限下保留先验均值和协方差。GMVIP 通过从先验中抽取一个函数,并在一组诱导输入处施加校正来构造后验样本。该校正在诱导输入之外的影响直接由先验样本决定,从而使后验能够保留原始隐式过程的结构和变异性。(替代)先验与变分后验采用相同的路径式构造,二者仅在白化诱导系数的分布上有所不同,因此可以得到易于处理的系数空间 Kullback-Leibler 散度。在使用由模拟器定义以及由检索条件约束的经验轨迹先验进行回归、分类和预测的实验中,GMVIP 总体上具有与现有方法相当的竞争力。

查看原文(arXiv cs.LG)