独自聪明，协作盲目：为何准确率无法认证多智能体团队的心智理论能力

arXiv:2610.19051v1 公告类型：交叉发布 摘要：根据对队友的推断采取行动的协调器，通常以这些推断的准确率作为认证依据。我们认为，准确率并非恰当的认证依据，原因有二。首先，采取行动所需的准确率取决于错误行动的代价，因此标准应由部署场景决定，而非由模块决定。其次，模块的错误很少相互独立，而且依赖关系的影响有正负之分：当错误造成的损害相互重叠时，正相关的错误反而有利；当损害相互叠加时，则会有害。因此，准确率阈值会以可预测的方向失效；一旦错误信念相互作用并可能造成损害，就不存在适用于所有模块的准确率规则。我们在任务分配、Level-Based Foraging 和 Hanabi 中，使用注入错误、训练得到的模块、贝叶斯模块和五个语言模型，并结合人类判断，检验了这些预测。准确率会在两个方向上失效：在共享错误会叠加的 Hanabi 中，它批准了有害的语言模型部署；而在高代价错误较为罕见的任务分配中，它却否决了有益的部署。在我们的任务中，准确率提升带来的冗余收益也远低于独立性假设的预测：从 GPT-5.4-mini 到 Claude Opus 5.5，模型对有相关证据的队友的判断错误率从 32% 降至 11%，但三名观察者全部误判同一名队友的概率仅从 16% 降至 9%（独立性假设下：从 3.4% 降至 0.15%）。我们提出，应对部署进行认证，使用 Blind-Spot Gate，在不部署模块的情况下，将错误代价、两两交互作用和测得的依赖关系纳入评估。在用于开发该方法的实验条件所对应的留出数据上，它在 20 次数据划分中均未出现具有统计显著性的错误批准（准确率方法：每次划分 3.2 次）；而在针对未参与其开发的模块开展的预注册测试中，它既挽回了被准确率方法否决的有益部署（七个分类器：遗憾值为 0.004，而准确率方法为 0.479），也识别出了被准确率方法批准的有害部署（一个贝叶斯模块：准确率方法在 20 次划分中的 17 次出现具有统计显著性的错误批准，而该门控方法仅在 1 次中出现）。