语言模型小组在重演推理任务中的人类审议时夸大共识

完全共识率常被视为集体认知的指标，但其结果取决于如何操作化参与情况和最终状态。我们重演了100个留出的人类 Wason 小组，并为其配对构建了大语言模型（LLM）智能体小组：根据每位参与者讨论前的答案，为其设置一个信念锚定智能体，并使用相同的编码规则对智能体和人类参与者评分。在不同的人类评分定义下，估计值介于24.0%和57.0%之间；约五分之一的参与者从未发言，而智能体几乎总是发言。在解盲后的两项敏感性分析中，智能体小组仍表现出更高的一致性：基于提交结果的比较（n = 98）显示，聊天模式和推理模式的差距分别为34.0和43.9个百分点；参与度匹配的比较（n = 45）显示，差距分别为34.1和44.4个百分点。这两种互补方法分别减少了不同的测量不对称性，但最终结果彼此收敛，差异在0.5个百分点以内。在不提前停止以及采用移除可记忆答案的重新参数化时，这一差距仍然存在；在后一种情况下，推理模式小组几乎一致同意，且大多同意的是错误答案。模拟共识并不能反映集体准确性；在这一设定下，信念锚定智能体小组是人类小组结果分布的有偏估计量。这些分析为评估模拟小组对人类审议结果的估计提供了以评分规则为明确基础的方法。