arXiv cs.AI精选79

正确诊断,装饰性推理:对医疗思维链的扰动审计

Right Diagnoses, Decorative Reasoning:A Perturbation Audit of Medical Chain-of-Thought

· 49天前

精选理由

提供医疗CoT忠实性审计框架与指标

AI 摘要

临床医生将思维链(CoT)理由视为医疗推理的证据,但这种可见的推理链是否真的承担了这一角色,几乎从未被检验。通用领域的 CoT 忠实性探针忽略了临床代价,而医疗 LLM 评估则把这条链视为黑箱。我们通过医疗扰动审计填补这一空白:一套由 30 个算子组成的测试集,使用具有临床动机的算子(严重程度反转、否定翻转、人口统计信息替换、证据消融)同时编辑推理链和问题,并结合推理链更新与答案翻转的联合分析,将每个模型按其失效模式分类。我们将其应用于 14 个 LLM,在四个医疗 QA 基准上进行测试,三项独立检验得出一致结论:链解耦率(CDR;推理链没有反映出编辑,答案也没有翻转)在具有临床意义的破坏性编辑上,整组达到 72.9%;推理链被污染并不会改变准确率;去除 CoT 提示也不会降低准确率。两位持有专科认证的临床医生重新标注了 N=197 个被扰动的问题;98.5% 仍保留可辩护的金标准答案。这一模式在医疗微调、推理微调以及不同规模上都成立;在闭源层级中,由于无法获得链文本,答案侧信号也与同样的解耦现象一致。我们的框架和 CDR 提供了一个可复用的标尺,用于审计医疗 CoT 是忠实的,还是仅仅是文档记录。

查看原文(arXiv cs.AI)