OpenMTB-Audit：揭示基于大语言模型的分子肿瘤委员会安全评估中的过度拒答与临床专家视角

arXiv:2610.01497v1 公告类型：cross 摘要：分子肿瘤委员会整合基因组学发现、临床背景和治疗证据，以支持精准肿瘤学。随着人工智能进入这一工作流程，一个关键的安全挑战是区分真正缺乏支持的建议，与那些有证据支持但由于信息不完整、ECOG体能状态较差或其他临床注意事项而仍需肿瘤科医生审核的选项。我们推出了OpenMTB-Audit，这是一个开源基准，包含500个合成的非小细胞肺癌病例，涵盖五类对抗性错误和四种安全标签：受支持、部分受支持、不受支持和信息不足。在八种大语言模型配置中，我们发现了普遍存在的过度拒答现象：对于所有真实属于“部分受支持”的病例，所有大语言模型配置均有83.3%至100%的概率无法保留“部分受支持”标签，最终通过标签塌缩而非经过临床校准的推理获得较高的总体安全评分。为解决这一局限，我们开发了MTB-AuditAgent，这是一个确定性的七模块框架，将证据核验、缺失信息检测、安全分类和拒答分离开来。该框架将过度拒答率降至6.7%，并达到91.2%的准确率（95%置信区间：88.6%–93.6%）。一项由两名肿瘤科医生参与的标注研究发现，分歧主要集中在信息是否充分与治疗优化之间的边界上，凸显了保留具有临床意义的区分的必要性。