在他们睡觉时工作：利用评估延迟实现全贝叶斯优化

arXiv:2610.08969v1 公告类型：新 摘要：黑盒优化问题广泛存在于科学与工程领域，通常涉及代价高昂的目标函数。在优化过程中，这种目标函数延迟会带来两个后果：(i) 目标函数评估占据主要执行时间；(ii) 样本高效的算法对于加速开发和避免资源浪费至关重要。贝叶斯优化（BO）方法是规划器提出下一个尝试点时的事实标准选择。标准 BO 使用点估计拟合代理模型的超参数。作为替代方案，全贝叶斯方法通过模型平均来考虑超参数的不确定性，从而获得更好的不确定性估计——这对于 BO 中普遍存在的低数据量场景十分有用。然而，这种方法的计算成本通常高得难以承受，因此很少被采用。在本文中，我们提出了 ELF-BO，这是一种利用目标函数评估延迟预先启动下一建议点计算的算法，使得无需承担显著的决策时间成本即可进行全贝叶斯优化。具体而言，该方法在目标函数评估期间对超参数后验分布进行采样，并仅在观测到目标值后对样本重新加权。在合成函数和现实世界应用上的实验表明，ELF-BO 达到了全贝叶斯方法的性能，同时其决策延迟仅与标准 BO 相当或更低。因此，ELF-BO 使全贝叶斯优化在现实世界用例中变得切实可行。