相关性忽视与信任条件下的 AI 辅助分类
AI-Assisted Classification under Correlation Neglect and Trust
精选理由
揭示 AI 建议与人类判断的证据重叠及信任校准如何影响决策准确率,为人机协作设计提供依据。
AI 摘要
arXiv:2611.05870v1 公告类型:交叉收录 摘要:AI 助手何时能改善人类决策,何时又会损害决策?我们认为,答案不仅取决于 AI 的准确率,还取决于其证据与人类掌握的证据有多大重叠,以及人类如何结合这两类证据。一名工作者通过观察自身获得的信号并接收 AI 的建议,作出二元决策。我们构建了一个包含两个基本要素的人类行为模型:工作者对证据重叠的认知,以及对 AI 的信任。我们的分析给出了关于 AI 能力与证据重叠程度的闭式相图,划分出互补、损害和自动化三个区域。忽视证据重叠(即相关性忽视)的工作者会重复计算共有证据,因此,能力更强的 AI 反而可能降低其决策准确率。信任会重塑这些区域——信任不足可能弥补相关性忽视,因此,使准确率最大化的信任水平取决于部署参数。在实证研究中,我们通过将同一批工作者与不同 AI 配对,识别出模型的两个参数,并将准确率损失分解为相关性忽视成本和信任不足成本,前者对应于在 AI 侧减少证据重叠,后者对应于在人类侧校准信任。在 ChatBench 上,AI 辅助使准确率提高了 21 个百分点,但工作者赋予 AI 信息的权重仅约为贝叶斯理性权重的四分之一;GPT-4o 落在自动化区域内,而 Llama-3.1-8b 则处于互补区域的边界;校准信任可为 GPT-4o 挽回约 2.6 个百分点的准确率损失,但对 Llama-3.1-8b 几乎没有改善。