通过 LLMs 利用丰富辅助信息进行贝叶斯优化

arXiv:2609.19437v2 公告类型：替换 摘要：贝叶斯优化（BO）广泛用于优化昂贵的黑盒函数，但它通常将每次昂贵实验简化为输入及其目标值，丢弃了实验产生的大量信息。这些辅助信息可以包括超参数优化中的训练曲线、科学实验中的专家笔记和图像，或关于特定优化问题的已知事实。借助大语言模型（LLMs）处理多样且非结构化信息的能力，我们提出了两种方法：AuxBO-Evolve 利用辅助信息不断演化对最优点位置的信念；AuxBO-Vicinity 则利用辅助信息在局部引导采集函数。在合成任务、超参数优化基准，以及包含科学家撰写的非结构化日志的核聚变任务中，我们的方法始终能够提升优化性能，并优于标准 BO 和现有的基于 LLM 的方法。我们进一步发现，与逐点建模目标值相比，在对可能的最大化位置进行建模时，LLMs 能够提供更有效的概率引导。总体而言，我们的结果表明，利用标准 $(\mathbf{x}, y)$ 交互之外的丰富信息，可以显著提升 BO 的性能。