AI 会推荐谁的医生?对大型语言模型辅助选择医生中声誉与人口统计信号的算法审计
Whose doctor does the AI recommend? An algorithm audit of reputation and demographic signals in large language model-assisted physician choice
精选理由
揭示AI推荐医生的偏差与隐性偏好,助力监督医疗决策风险
AI 摘要
患者越来越多地询问大型语言模型(LLM)助手该看哪位医生,这使这些系统成为 AI 信息中介:在一个人对其他人的选择中居间作用的算法,并由此以无声且大规模的方式决定哪些医生变得可见。我们报告了一项预先设定的随机算法审计,考察哪些因素会对这些推荐产生因果影响。七个模型(六个开放权重模型;gpt-4o-mini)分别在五张合成的家庭医学医生卡片中进行选择,这些卡片的属性在 3,024 个选择集、三个患者画像、九种提示改写和九个实验组中独立随机化,共产生 40,068 条评分响应;性别和族裔通过姓名来传递信号,遵循通信审计方法。声誉信号占主导地位:将评分从 3.9 提高到 4.7 会使被选择概率增加 31.4 个百分点(pp),而将费用从 90 美元提高到 190 美元会使其降低 20.0 个百分点。人口统计均等性被拒绝,但方向并非人类审计研究所预测的方向:带有女性信号的姓名增加 2.5 个百分点,带有 Hispanic、South-Asian 和 Black 信号的姓名相对于带有 White 信号的姓名增加 1.3–2.9 个百分点;按费用等价计算,这些倾向相当于每次就诊 7–14 美元,而一个没有内容含义的首位排列位置价值 11 美元。然而,模型在其陈述理由中提及性别或族裔的比例最多只有 0.03%,并且在 0.39% 的试验中弃答,因此这些效应在模型自身解释中不可见,依赖模型自我报告的透明度义务无法检测到它们。一个推理模型直接未能通过预先设定的可审计性门槛。冻结的设计使审计可重复:任何新模型都可以在相同刺激下接受评估,这使得周期性行为审计,而非自我报告式解释,成为适合目的的监测技术。