Metropolis-Hastings 在策略组合中优于重要性重采样

arXiv:2610.03480v1 公告类型：新 摘要：对大型语言模型（LLM）进行后训练通常需要探索多个奖励之间的权衡，但针对每种权衡重新训练的成本很高。解码时策略组合允许在推理时结合特定奖励的策略，从而调整这些权衡。这种组合的目标是对完整响应的策略概率取加权乘积，但标准实现会结合各策略的下一词元概率，通常会引入采样偏差。我们分析了一种基于独立性 Metropolis-Hastings（MH）的已知迭代校正方法。我们的主要结果表明，对于任意 rollout 预算，与使用相同预算的采样-重要性-重采样（SIR）相比，MH 生成的输出分布在每一种凸 f-散度意义下都至少同样接近目标分布。我们还在一种衡量输出与给定策略之间一致程度的共识目标下，推导出了 MH 相对于未经校正解码器的改进下界。此外，我们在两个渐近情形下刻画了该校正方法的采样误差：其一是特定奖励的策略趋于一致时；其二是目标分布概率与未经校正解码器概率之间的对数比值波动日益增大时，长响应中可能出现这种情况。最后，我们在可枚举规模和 LLM 规模的设置中通过实验补充了理论分析。