用于推理时对齐的高效 Best-of-N 策略评估

arXiv:2610.09250v1 公告类型：新 摘要：Best-of-N（BoN）是一种常见的推理时对齐方法，它从参考模型生成的 N 个样本中选择得分最高的响应。在仅能访问样本的情况下，利用日志数据评估 BoN 策略颇具挑战性，因为标准离策略估计器需要依赖不可获得的响应似然的密度比。本文提出了一种仅基于样本的框架，用于在无法访问这些似然的情况下评估和选择 BoN 策略。我们证明，BoN 的顺序统计结构使得所需的密度比可以通过得分排名概率来表示，而这些概率仅凭样本即可估计。随后，我们开发了一种 BoN 策略价值的双重稳健估计器（BoN-DR），能够在不同候选采样预算之间高效复用共享的辅助样本池。即使奖励估计器存在错误设定，我们仍建立了有效的渐近推断，并证明了 BoN-DR 估计器的效率。由于更大的采样预算可能放大得分函数中的误差，并导致奖励过度优化，我们推导出两种选择规则：（i）最大化估计的策略价值；（ii）最大化相对于参考策略的改进下置信界。后者考虑了估计不确定性，并提供无损害保证。在合成实验以及使用多个参考模型和奖励模型的 GSM8K 实验中，我们的框架能够准确估计 BoN 策略价值，并选择有效的采样预算。