BONSAI：兼具自然简洁性与可解释性的贝叶斯优化

arXiv:2602.07144v3 公告类型：替换 摘要：贝叶斯优化（BO）是一种用于对黑盒函数进行高样本效率优化的常用技术。在许多应用中，待调优参数具有经过精心设计的默认配置，而实践者只有在必要时才希望偏离该默认配置。然而，标准 BO 并不以最小化相对于默认配置的偏离为目标；在实践中，它还常常将关联性较弱的参数推向搜索空间的边界。这使得区分重要变更与无关变更变得困难，并且当优化目标遗漏了相关的实际运行因素时，会增加审核推荐结果的负担。我们提出 BONSAI，这是一种具有默认配置感知能力的 BO 策略：它会剪除相对于默认配置的低影响偏离，同时显式控制采集值的损失。BONSAI 兼容多种采集函数，包括期望改进和上置信界（GP-UCB）。我们从理论上界定了 BONSAI 所引入的遗憾，表明在适当条件下，它能够保留原始 GP-UCB 的无遗憾性质，并移除无关变更。在众多真实世界应用中，我们通过实验证实，BONSAI 能够大幅减少推荐配置中非默认参数的数量，同时保持具有竞争力的优化性能，并且对实际运行时间影响很小。其候选生成成本平均仅为标准 BO 的 $1.5\times$，而此前的稀疏 BO 方法为 $7$-$34\times$。