开放源代码大型语言模型在临床分诊中的偏差反事实审计

arXiv:2610.01963v1 公告类型：cross 摘要：急诊科（ED）分诊是一项高风险的优先级排序任务，其中人口统计、社会经济和系统环境信息可能不恰当地影响紧急程度分配。尽管开放源代码大型语言模型（LLM）正越来越多地被考虑用于本地化且注重隐私的临床决策支持，但反事实偏差如何在不同模型系列、模型规模、医学领域模型和领域适配模型之间变化，仍不明确。我们针对十个开放源代码LLM的儿科急诊严重程度指数（ESI）预测开展了比较性反事实审计。我们以真实临床案例和手册式临床案例为基础，构建成对的反事实变体：每次仅改变一个注入的人口统计、社会经济、医疗服务可及性、行为、社会或系统环境变量，同时保持临床表现不变。模型包括Qwen2.5-7B、Qwen2.5-14B-Instruct、经过QLoRA微调的Qwen2.5-7B、MedGemma变体、MedLLaMA2-7B、GPT-OSS-20B和GPT-OSS-120B。我们测量了任何反事实变化、分诊不足、分诊过度、超过一个ESI等级的变化、平均变化幅度以及平均绝对变化幅度。反事实敏感性存在显著差异，并未随着模型规模扩大或医学领域预训练而稳定降低。经过微调的Qwen2.5-7B表现出最低的总体敏感性，其任何变化率为5.27%，平均绝对变化幅度为0.0534；相比之下，基础模型分别为16.02%和0.1706。若干规模更大或属于医学领域的模型表现出更显著的变化。分层分析和相关性分析进一步揭示了总体比率所掩盖的、具有临床重要性的变化方向和共同失效模式。这些发现表明，在临床部署之前，反事实审计可作为一种轻量且具有临床可解释性的框架，用于比较开放源代码LLM中的公平性风险。