序贯决策中的机理先验价值
The Value of Mechanistic Priors in Sequential Decision Making
精选理由
阐明机制先验如何降低序贯决策试错成本,并提供可计算的评估证书与安全边界。
AI 摘要
arXiv:2605.10018v2 公告类型:替换 摘要:混合机理模型,即将物理先验与学习得到的残差相结合的模型,有望减少实现良好决策所需的数据量,但目前尚无可计算的标准来检验这一点。我们在渐近状态和预热状态下刻画机理先验在序贯决策中的价值。为实现形式化描述,我们引入模型的机理信息:模型所推荐策略 $\hat{\pi}$ 与真实最优策略 $\pi^*$ 之间的互信息,并通过以中心化、占用率加权的偏差对其进行界定。在渐近状态($N$ 较大)下,匹配的上下界表明,贝叶斯遗憾随残差熵 $H_{\mathrm{mech}}$ 缩放;与无信息基线相比,理论上的样本复杂度降低了 $H(\mu)/H_{\mathrm{mech}}$ 倍。我们还给出了一个可在试验前计算的模型证书。另一方面,在具有临床意义的预热状态($N$ 较小)下,我们建立了对过度自信但错误的先验所导致惩罚的下界。我们在一个计算机模拟的 5-fluorouracil(5-FU)化疗装置上展示了渐近界和预热界,该装置的结构遵循已发表的 FOLFOX 药代动力学。相较于标准的按体表面积给药方式,该混合先验将累积遗憾降低了 $1.79\times$;相较于无信息学习器,则降低了 $1.85\times$;并且在所有测试的校准偏差下,其表现始终优于这两种方法。最后,我们表明,对分布偏移敏感的先验可能会在很小的分布偏移下损失一半的机理信息,这为安全关键型应用采用基于物理的先验提供了动机。