arXiv cs.AI精选84

LLM 裁判验证的是存在,而非缺失:AI 临床笔记中的遗漏盲视及其恢复方法

LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes and What Recovers It

· 43天前

精选理由

揭示LLM难查漏记,并给出更有效的临床笔记审查法。

AI 摘要

Ambient AI scribes 起草临床笔记,已发表的审计发现其主要错误是遗漏:就诊中已确认、但笔记未记录的信息。标准检查方式是使用 LLM judge:另一个模型将笔记与转录文本对照阅读并标记问题。我们询问这些 judge 是否能检测到遗漏。公开语料无法提供答案键:其中的临床医生参考笔记与转录文本在实质上并不一致。我们的基准包含来自审计事实表的 500 组单错误笔记对,其中 298 组包含一个明确缺失的已命名事实,202 组为新增或改动的对照。在八种 judge 设计中,成对区分能力(有缺陷的笔记低于其无缺陷对应项,0.5 表示抛硬币)在新增或改动内容上为 0.79-0.94,在遗漏上为 0.50-0.63。在单条笔记上,没有任何设计能比对完美笔记更可靠地更频繁地标记遗漏。措辞变化、投票和 GEPA 提示优化会移动工作点,但不会产生可用的检测能力。重新构造任务可以恢复检测能力:列出转录文本所确立的事实,然后逐项检查笔记是否包含。两种方法可独立达到这一点且各有取舍:逐事实流水线,以及一个经 GEPA 演化的 prompt,以一次调用完成同样的事情。该流水线的标记会指出缺失的事实及其严重程度,误报率为 2.7%。单次调用检测更多(36.9% 对 24.6%,p=0.002),误报率为 6.2%,且每条笔记的成本只有其十分之一。一位作者中的医生验证了 70 个条目,并且在两条路径意见不一致时,10 次中 10 次支持流水线(p=0.002)。另一位并非作者的临床医生对严重程度量表进行了盲评,结果与之相差不超过一个等级。在来自配套普查的真实 vendor 笔记上,没有任何基准阈值可以直接迁移,但重新校准后的单次调用以一半的误报率检测到的内容多于八种方法中的最佳者。如果某个遗漏的事实在别处被重新表述,两种方法都会失效。我们公开发布该基准、prompts 和 judgements。

查看原文(arXiv cs.AI)