被选择压倒：大规模研究 LLM 决策

多项选择和候选项选择评估被广泛用于评估 LLM 的推理和决策能力，但大多数基准测试包含的候选集相对较小。随着候选空间扩大，从这些设置中得出的结论是否仍然有效尚不明确。我们系统地评估了随着竞争候选项数量增加时 LLM 的表现，并发现其在不同任务、提示策略和模型规模上均出现显著的准确率下降。受控分析表明，标准的长上下文检索解释无法完全解释这种下降。相反，我们识别出两种系统性失败模式。第一，正确答案边际塌缩：正确答案与最强干扰项之间的分数差距逐渐缩小，这主要由对正确答案的信心减弱所驱动。第二，较早候选项的偏好变得越来越难以推翻，而较晚候选项对最终预测的影响逐渐减弱。受这些发现启发，我们评估了层次化划分和基于排列的推理方法，它们在 HotpotQA 和 MIMIC 上均在 $N=160$ 时将准确率提高了约 20 个百分点。总体而言，我们的结果表明，候选集规模是一个重要的评估协议变量，并显示出在少量选项上表现强劲并不一定意味着具备稳健的大规模候选项比较能力。