超越准确率：LLM 临床评估中的反事实脆弱性与人口统计学偏见

临床 LLM 评估通常强调答案准确率；然而，仅凭准确率无法检验反事实一致性或人口统计学稳健性。我们使用两种自动扰动测试，在 150 道 MedQA USMLE 题目上评估了六个 LLM 的表现。反事实有效性（CFV）测试要求每个模型做出一个最小且合理的临床改动，使另一个答案成为正确答案。人口统计学稳健性测试在同一病例描述前添加六种人口统计学前缀，并将答案和解释与无人口统计学信息的基线进行比较。在 900 次 CFV 尝试中，228 次（25.3%）有效，672 次无效。在 5,400 次人口统计学比较中，有 1,097 个答案发生了变化（20.3%）。自动评判识别出 3,128 个刻板印象证据标记，其中 1,932 个属于广义的 Other 类别。MedGemma 27B 取得了最高的准确率（87.1%）和 CFV（63.3%）、最低的答案变化率（16.0%），以及较低的平均 Explanation Demographic Dissonance（EDD）分数（0.169）。然而，其准确率仍高于其 CFV，表明正确答案并不能保证在反事实有效性任务上的可靠表现。OpenBioLLM 的答案变化率和 EDD 最高，而 GLM 的刻板印象标记率最高。这些发现表明，准确率、CFV、答案稳定性、EDD 和刻板印象证据捕捉的是不同的评估方面。由于所有判断均为自动化完成，且没有临床医生验证，因此结果支持安全性筛查，但不能证明该模型具备临床部署能力。