医疗微调重塑而非降低面向患者的 AI 风险：基于量规的 LLM-Judge 评估框架

大型语言模型（LLM）面向患者的医疗问答正从研究演示走向生产部署，但评估仍主要围绕事实正确性展开。事实性是必要条件，但并不充分：一个回答可能有事实依据，却仍然提出一项一旦被执行就会伤害患者的指令。我们提出了一种风险敏感型评估框架，根据六类风险承载语言的出现情况及严重程度对回答进行评分，这六类语言包括治疗指令、禁忌事项、剂量表述、紧急程度分诊提示、高警示药物提及和过度自信的断言；该框架以已发表的临床伤害分类体系为依据。严重程度由一个由三名评审员组成的 LLM 集成模型进行分类。我们将该框架应用于六个参数规模为 7–9B 的指令微调模型，其中三个为通用模型（Mistral-7B、Phi-3.5-mini、Llama-3.1-8B），三个为医学适配模型（BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B），并使用 K-QA 基准中的 200 个真实患者问题进行评估。研究得到两项发现。第一，集成评估得到的风险承载语言与事实性幻觉率在统计上相互独立（合并 Spearman $ρ= -0.065$，$n = 300$，95% 置信区间为 $[-0.18, +0.05]$；距离相关性 $= 0.10$，独立性检验 $p = 0.24$）。第二，医学微调并未降低总体风险，而是重塑了风险结构：持续预训练适配（BioMistral、OpenBioLLM）持续抑制高警示药物提及，同时增加过度自信的断言；而临床指令微调（Med42）仅抑制剂量表述，并未增加过度自信。对于各类别，四类具有语言锚定特征的类别的 Krippendorff $α$ 为一般至良好（0.53–0.71），而两类依赖临床判断的类别较低（0.19、0.31），这表明自动化安全评估在哪些方面已经可靠、在哪些方面尚不可靠。我们公开发布量规、评审提示词和评估代码。