pass@k 无法衡量什么：后训练后的多样性与能力保持评估

arXiv:2610.07405v1 发布类型：新发布 摘要：pass@$k$ 是指模型在 $k$ 次采样尝试内解决问题的比例，是该领域用于判断基于可验证奖励的强化学习（RL）后训练是否改进模型的默认方案。在总体层面，pass@$k$ 仅取决于某个问题获得正确样本的概率，而不包含该概率如何分布于不同输出之间的项。我们表明，这一差距并非无关紧要。在小学数学任务上，分别采用 Group Relative Policy Optimization（GRPO）和拒绝采样微调（RFT，即使用模型自身通过验证器的最短轨迹进行训练）训练 Qwen2.5-1.5B-Instruct 后，三种互补的多样性指标——token 级熵、答案级熵、每个提示的唯一答案数——朝相反方向变化，且每个训练方案使用三个随机种子时，三者均无重叠。即使将范围限制为通过验证器判定正确的补全，这一差距仍然存在（在控制长度后，GRPO 的正确解词汇多样性低 15%）；通过控制数量、单独考察错误答案之间的多样性的检验也得到同样结果，从而排除了 GRPO 更高的准确率本身足以解释该现象的可能性。然而，在 GSM8K 上，pass@8 和 pass@32 并未显示出一致的优胜者；在较难的 MATH-500 子集上也呈现相同模式：只有在较低的 $k$ 值下才出现区分。与起始检查点相比，没有任何训练方案显著提高难题覆盖率：RFT 的表现显著更差，而 GRPO 在统计上与其无法区分——因此，GRPO 相对于 RFT 在 pass@1 上的优势反映的是相对于 Base 更小的能力损失，而非能力提升；这属于缺少对照的问题，而不是 pass@$k$ 本身失效。在 GSM8K 上，只有 pass@1 能够清晰地区分两种方案，但它按定义无法检测多样性，反而奖励了正确解多样性最低的方案。我们认为，这是一个具体实例：一种标准评估方案缺失了一个却经常被用来证明具备的属性。