相关性忽视与信任下的 AI 辅助分类

AI 助手何时能改善人类决策，何时又会产生负面影响？我们认为，答案不仅取决于 AI 的准确率，还取决于其证据与人类所掌握的证据有多大重叠，以及人类如何整合两者。一名工作者通过观察自身获得的信号并接收 AI 的建议来做出二元决策。我们构建了一个包含两个基本要素的人类行为模型：工作者对证据重叠的认知，以及对 AI 的信任。我们的分析给出了关于 AI 能力与证据重叠程度的闭式相图，划分出互补、受损和自动化区域。忽视证据重叠（即相关性忽视）的工作者会重复计算共享证据，因此，能力更强的 AI 反而可能降低其决策准确率。信任会重塑这些区域——信任不足可能抵消相关性忽视的影响，因此，使准确率最大化的信任水平取决于部署参数。在实证分析中，我们将同一批工作者与不同 AI 配对，以识别这两个模型参数，并将准确率损失分解为相关性忽视成本和信任不足成本，前者对应于在 AI 侧减少证据重叠，后者对应于在人类侧校准信任。在 ChatBench 上，AI 辅助使准确率提高了 21 个百分点，但工作者赋予 AI 信息的权重仅为贝叶斯理性权重的约四分之一；GPT-4o 位于自动化区域，而 Llama-3.1-8b 则处于互补区域的边界；校准信任可为 GPT-4o 挽回约 2.6 个百分点的准确率损失，但对 Llama-3.1-8b 几乎没有作用。