System 1 模型在医学中的价值

arXiv:2610.31315v1 公告类型：新投稿 摘要：许多临床决策是在少数固定选项中做出选择，这类决策数量庞大，且需要快速完成。同时，这些决策还需要不确定性估计，以判断何时应交由临床医生处理。生成式语言模型以自由文本作答，速度较慢，且难以准确表述自身的置信度。相比之下，System 1 模型能够以零样本方式作答，并为每个答案提供概率。然而，它们在各类临床任务中的表现尚不明确。本研究在涵盖 14 个临床领域、20 种语言的 86 项公开任务上，对四个 System 1 模型进行了零样本评估，其中两个为专有模型，两个为开放权重模型；任务范围涵盖考试题目和医学影像。分析前，将任务划分为六个能力层级。主要结局指标为受试者工作特征曲线下面积（AUROC）。次要结局指标包括校准表现、语言影响，以及与已发表结果和生成式模型的比较。在 179,111 个案例中，各任务最佳模型的平均 AUROC 分别为：医学知识 0.94、文本理解 0.93、基于文本的临床判断 0.83、图像感知 0.89、二维影像发现 0.84，以及三维容积影像发现 0.69。影像任务的得分比文本任务低 0.09（95% 置信区间：0.06 至 0.11；P < 0.001）。在 26 项文本任务中的 13 项和 35 项影像任务中的 8 项上，最佳模型达到或超过了已发表的最佳结果。分诊护士的表现优于最佳模型（准确率为 0.85 对 0.56）。本地运行的开放权重模型完成一次决策耗时 0.34 至 0.44 秒，耗能 24 至 81 焦耳。对于相同问题，从英语切换到约鲁巴语后，准确率最多下降了 39 个百分点。同系列生成式模型的耗时为其 11 至 76 倍，平衡准确率则高出 3 至 5 个百分点。当答案在文本中明确给出，或可从医学知识中回忆获得时，System 1 模型能够快速、低成本地做出决策，并提供可用的置信度；但当答案需要通过判断得出或从图像中读取时，则不具备这些优势。