用于函数空间变分推断的 Flow-Transformed Implicit Processes

arXiv:2606.01954v2 公告类型：替换 摘要：隐式过程先验通过灵活的生成机制定义函数上的分布，因此对贝叶斯函数空间建模具有吸引力。然而，使用此类先验进行后验推断颇具挑战，因为其诱导的函数空间分布通常没有闭式表达。一种实用策略是使用有限数量的采样函数来近似先验，然后将后验函数表示为这些样本的学习组合。现有方法通常在组合权重上设定高斯变分分布。尽管这种选择具有良好的可处理性，但它限制了可表示的后验不确定性形状，尤其是在真实后验具有非对称、重尾或多峰特征时。我们提出 Flow-Transformed Implicit Processes (FTIP)，一种使这种有限维函数空间近似更具表达能力的变分推断方法。FTIP 不再在组合权重上使用高斯分布，而是采用归一化流来定义更丰富的变分分布。这在保持优化可处理性的同时，诱导出灵活的函数后验分布。我们使用 Black-Box {\alpha} 目标训练模型，从而能够比较覆盖质量和寻模倾向的变分行为。实验表明，FTIP 能够捕捉函数空间中的非对称和多峰后验结构，而高斯系数近似往往会将这些结构平滑掉或压缩消失。