三份笔记中有一份：对三种已部署 AI 书写助手的已验证普查，以及统计它的工具

环境式 AI 书写助手在临床医生会签每份笔记的保障下起草临床记录。我们对同样的 142 次咨询审计了三款商业 AI 书写助手：来自录制的英国初级医疗和美国门诊就诊的 565 份笔记，加上作者编写的场景。十二轮发现性扫描提出了 13,678 个候选错误；其中 5,898 个通过重要性筛选的候选项交由一个对抗式评审组处理，该评审组由来自不同家族的两个模型组成，并被要求尽可能反驳它们能反驳的内容，最终有 618 个存活下来。三份笔记中有一份（31.3% [27.0, 35.6]）存在经验证的失败，主要集中在过敏和用药信息、虚构患者身份，以及在电话咨询中把历史病史写成查体内容，而电话咨询本不可能包含查体。没有任何产品获得患者记录；如果排除患者记录本会预填的两类内容——虚构身份和日期——该比率为 24.8% [20.8, 29.0]。有一种失败模式不符合我们的方案，它取自已发表的书写助手错误分类：临床医生撤回的治疗，却被记录为已实施护理。两名临床医生对彼此不重叠的样本进行了盲法裁定：一名医师作者支持了 21 项发现中的 20 项（95.2% [77.3, 99.2]），一名非作者独立临床医生支持了 12 项中的 12 项（[75.8, 100]）；两人都判定所有抽样的拒绝都是真实拒绝。错误率不仅取决于这些书写助手，也取决于所用工具。固定模型、证据和设置后，仅审查指令本身就会把被验证的候选项比例从 9.3% 提升到 79.0%，而审查模型家族也会影响这一比例：在同一指令下，较温和的模型标记为错误的笔记占 54.8%，而另一个模型仅为 27.8%。根据标准不同，抽样笔记中携带失败的比例在 28% 到 97% 之间。已发表审计之间的分歧幅度，仅凭工具差异就足以造成：遗漏占其错误的 54-86%，而在我们的结果中这一比例为 23.1%。我们公开全部 618 项发现及其转录侧证据、每一条提示词和模型版本，以及可重新运行的流程。