arXiv cs.LG精选74

离散空间上的贝叶斯优化中的采集函数引导生成

Acquisition Function-Guided Generation for Bayesian Optimization over Discrete Spaces

· 2小时前

精选理由

为离散空间贝叶斯优化提供兼顾领域知识与生成效率的新方法。

AI 摘要

arXiv:2610.22763v1 公告类型:new 摘要:由于缺少梯度以及有效解的稀疏性,离散空间上的贝叶斯优化(BO)颇具挑战。潜空间BO通过在生成模型的潜空间中拟合代理模型,绕开了这两个问题,但这也大幅增加了直接融入领域知识的难度,因为领域知识通常自然地表达于原始离散空间中。在本文中,我们不采用这种方式,而是将预训练生成模型与一个直接定义于数据空间中的代理模型相结合,从而可以便捷地融入领域特定核等归纳偏置。我们的方法并不在离散设计空间上最大化采集函数,而是在受采集函数倾斜的分布下,从生成模型中采样候选解。为获得可用于采样的有效梯度,我们将这一倾斜分布嵌入扩散桥中,从而得到平滑的后验平均采集函数。由此形成了采集函数引导生成(AFGG)方法,我们分别使用分类扩散模型和自回归归一化流对其进行实例化。在一系列广泛的分子基准测试中,扩散模型版本的表现与领先的BO方法相当,而流模型版本在大多数情况下优于当前最先进的方法,在其余情况下也保持了极强的竞争力。我们的实现见 https://anonymous.4open.science/r/afgg。

查看原文(arXiv cs.LG)