利用梯度进行昂贵模拟器的贝叶斯推断

arXiv:2610.12076v1 公告类型：新 摘要：基于微分方程的模拟器广泛应用于科学和工程领域。它们常用于基于模拟的推断，根据对模拟器输出的现实世界观测结果评估输入参数的后验分布。然而，当单次模拟器评估的计算成本高昂时，推断会变得极具挑战。在这种情况下，研究人员采用了基于贝叶斯优化的主动学习方法，并结合高斯过程代理模型，以最大化从有限模拟预算中获取的信息。近年来，模拟器输出相对于输入参数的梯度越来越容易获得，但这些梯度很少被用于推断。尽管我们只需学习模拟器的输入—输出关系，梯度信息仍可提供额外的宝贵信号，用于指导主动学习过程。在昂贵模拟器的场景中，这一点尤其重要，因为样本效率至关重要。本文展示了如何将梯度信息融入高斯过程代理模型，从而在有限模拟预算下加速基于贝叶斯优化的推断。结果表明，利用梯度信息能够显著提高收敛速度。对于反向模式微分，在考虑额外计算成本后，推断效率的提升仍然得以保持。相比之下，对于正向模式微分，推断速度的提升不足以抵消计算成本。这些结果表明，梯度增强代理模型主要适用于参数数量超过输出维度的问题，因为在此类问题中反向模式微分更为高效。