SUP-MIMIC：用于评估 LLMs 对矛盾证据鲁棒性的多任务临床诊断基准

当前对大型语言模型（LLMs）的评估主要聚焦于事实知识检索，而忽视了在临床指标与诊断之间复杂的非双射映射中进行推理这一根本挑战。现有基准未能评估大型语言模型是否真正具备应对诊断歧义场景所需的推理能力；在这类场景中，相同的临床表现可能对应不同病因；而在诊断收敛场景中，异质症状最终可能指向同一种疾病。为解决这一问题，我们提出 SUP-MIMIC，这是一个利用 MIMIC-IV-v3.1 的多任务框架，包含基础评估（BA）、诊断发散任务（DDT）和诊断收敛任务（DCT）。具体而言，DDT 旨在评估模型在表型相似病例之间进行“one-to-many”消歧的能力，而 DCT 则考察模型识别跨不同病理生理路径的“many-to-one”诊断模式的能力。对当前最先进 LLMs 的全面评估表明，与基线任务相比，它们在 DDT 和 DCT 上的性能显著下降，暴露出系统性地依赖统计捷径而非真正因果推理的问题。我们的研究结果进一步强调了对“健康”预测的保守偏置，这意味着在真实医疗场景中存在不可忽视的漏诊风险。该工作建立了一种用于量化临床推理鲁棒性的严格方法，并为提升语言模型在临床医学中的安全性提供了路线图。