尾部竞争解释了可验证问题中 Best-of-N 采样的扩展规律

arXiv:2610.19362v1 公告类型：交叉发布 摘要：Best-of-N 采样是大语言模型的一种简单的推理时扩展策略，但人们对其在不完备奖励模型下的行为仍缺乏充分理解。我们将 Best-of-N 视为正确回答与错误回答的奖励分布极端尾部之间的竞争。这一视角表明，成功不仅取决于采样到正确回答的概率，还取决于正确回答是否在奖励分布的上尾中占据优势。利用极值理论，我们刻画了三种渐近情形：正确回答尾部占优、错误回答尾部占优以及临界情形，从而同时解释了性能的单调提升与奖励黑客行为引发的性能退化。我们进一步针对具有代表性的奖励分布推导了有限样本扩展定律，表明在高斯奖励分布下，方差足够大的错误回答即使平均奖励较低，也可能在选择过程中占据主导地位。与理想选择机制不同，使用不完备选择器时，收敛可能呈多项式速率，而非指数速率。最后，我们提出了一种轻量级的尾部张力判据，用于估计何时增加采样可能产生负面影响。基于合成数据和真实奖励模型评分的实验，与理论预测的渐近情形、扩展定律及诊断表现一致，表明尾部竞争为理解可验证问题中的 Best-of-N 采样提供了统一视角。