IQS-BO：贝叶斯优化中的上下文内查询选择

arXiv:2610.01269v1 公告类型：新摘要：贝叶斯优化（BO）是优化昂贵黑盒函数的强大框架，但通常需要在每个评估步骤重新拟合代理模型并最大化采集函数。基于先验数据拟合网络（Prior-data Fitted Networks，PFNs）的上下文内方法，通过在从合成先验中抽取的函数上预训练Transformer，摊销了部分成本。PFNs4BO摊销了代理模型的成本，但仍依赖于通过数值方法最大化采集函数；而FIBO则通过从学习到的密度中采样优化位置，实现完全上下文内的BO，但这会固定决策规则，且不使用代理模型。学习型采集函数使用训练好的网络为有限候选集进行评分，但由于缺乏查询的标签，它们通过在先前已解决的任务上进行强化学习来学习评分。我们提出IQS-BO，这是一种通过在合成先验上进行监督学习来学习查询决策的PFN。在单次前向传播中，IQS-BO预测每个候选点在候选集上使目标函数达到最大值的概率，并证明其目标函数的最小化解就是该事件的后验概率。该模型可以在不使用代理模型的情况下进行预训练，从而实现完全上下文内的BO；也可以将固定概率代理模型的预测作为额外输入，从而仅摊销决策步骤。我们的方法以基于采集函数的方法一小部分的成本提出查询，同时在合成和真实世界基准测试中，性能达到或超过使用高斯过程（GPs）的标准BO以及现有的上下文内方法。最后，我们提出了一种用于预训练PFNs的混合先验，将来自GPs的样本与具有输入变形、孤立狭窄最优点或平台区域的函数相结合；这些函数难以由GP代理模型中常见的平稳核建模。我们展示了在该先验上进行预训练可以带来更好的优化性能。