用于思维剪枝的直接 Pass@$k$ 优化：平衡测试时推理的质量与多样性

测试时扩展已成为推理模型的一项关键推理策略：模型生成大量候选解，以期找到至少一个正确解。将所有候选解都生成至完成可能需要高昂的计算成本，因此，近期研究在仅生成一小段前缀后就对候选池进行剪枝，将后续计算仅用于保留下来的候选解。现有剪枝策略大致分为两类：基于质量的方法为每个部分解评分，并丢弃那些预计最终会导向错误解的部分解；基于多样性的方法则选择遵循不同推理轨迹的部分解，从而有望覆盖不同的最终解。这两个目标之间的张力体现了探索与利用之间的权衡，但以往的剪枝研究鲜有直接呈现这一权衡的工作，更遑论对其进行优化。本文提出一种剪枝方法，通过优化所选解池的 pass@$k$，直接处理这一权衡。具体而言，该方法选择解池，以最大化其中至少一个部分解在继续生成至完成后得出正确答案的概率。由于这一目标既奖励高质量的部分解，又惩罚它们之间的冗余，因此该准则本身就能自然地平衡质量与多样性，而无须依赖各自独立的临时性设计选择。在八个开放权重推理模型上，我们的方法优于现有的基于质量和基于多样性的剪枝策略。当剪枝过程保留适量的部分解以继续生成时，性能提升尤为显著，凸显了在剪枝过程中直接平衡质量与多样性的价值。