具备可靠性与保守性感知的贝叶斯信念过程奖励建模
Process Reward Modeling with Reliability- and Conservatism-Aware Bayesian Belief
精选理由
通过贝叶斯建模同时控制奖励不确定性与过高估计，提升推理评估和测试时扩展效果。
AI 摘要
arXiv:2610.23223v1 公告类型：新 摘要：过程奖励模型（PRM）在大语言模型（LLM）推理的测试时扩展中发挥着核心作用。然而，PRM可能会为测试时扩展提供不准确的过程奖励。我们发现，这源于两类不确定性：（1）PRM不确定性，源于监督数据不足以及PRM训练不完善；（2）策略不确定性，源于收集监督数据所用策略与测试时扩展所用策略之间的不匹配，从而导致系统性的奖励高估。以往研究未能联合考虑这两类不确定性。为弥合这一差距，我们提出BayesianPRM，将过程奖励视为奖励假设空间中的随机变量，并在其上维护贝叶斯信念。由于在连续假设空间上进行精确的贝叶斯推断通常难以处理，我们通过奖励集成对奖励假设空间进行离散化，并引入两种互补的信念更新方法，分别针对一种不确定性来源：（1）为应对PRM不确定性，我们引入可靠性感知的信念更新，用于衡量集成中的每个成员对监督数据的解释程度，并通过由证据下界（ELBO）优化的摊销信念网络更新信念；（2）为应对策略不确定性，我们提出保守性感知的信念校准，进一步将信念重新加权至较低奖励，以抑制高估。这两种更新共同形成可靠性与保守性感知的贝叶斯信念，其期望值决定过程奖励。在多模态推理基准上的实验表明，BayesianPRM能够持续产生更准确的过程奖励估计，同时提升测试时扩展性能。