arXiv cs.AI精选78

正确答案,错误理由:准确性、一致性和共识是临床决策支持中 LLM 忠实性的误导性指标

Right Answer, Wrong Reason: Accuracy, Consistency, and Consensus Are Misleading Indicators of LLM Faithfulness in Clinical Decision Support

· 17天前

精选理由

提醒读者警惕医疗大模型“答对但因错”风险

AI 摘要

临床大型语言模型(LLMs)在医学考试中取得了很高的准确率;然而,正确答案并不保证其解释指出了实际驱动决策的概念。我们提出了三个轻量级、可直接解释的指标来衡量这种忠实性差距:解释稳定性指数(Explanation Stability Index,ESI),用于衡量重复查询中的推理一致性;因果忠实性得分(Causal Faithfulness Score,CFS),通过概念消融测试被引用概念是否驱动预测;以及扰动稳定性得分(Perturbation Stability Score,PSS),用于衡量对语义保持型改写的鲁棒性。通过在 150 道 MedQA-USMLE 题目上评估六个 LLM(共 900 个模型-题目观测),我们发现只有 23.3% 的被引用临床概念在因果上是必要的。正确答案的 CFS 低于错误答案(0.212 vs. 0.398),答案一致性对 CFS 呈负向预测(Spearman r = -0.466),并且模型对之间可能在答案上一致,但仅共享 8.8% 的被引用推理概念。这些结果表明,准确性、一致性和共识并不是临床决策支持的完整安全信号。该证据是行为层面的,而非机制层面的:概念消融测试的是输出的反事实敏感性,而不是内部回路。

查看原文(arXiv cs.AI)