大语言模型能匹配到住院医师培训岗位吗？开放语言模型在西班牙 MIR 考试中的不确定性、推理与图像使用
Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
精选理由
研究检验开源大模型的西班牙医考表现，揭示其准确率、置信校准、临床推理与图像使用之间的落差。
AI 摘要
医学考试的答题准确率常被用作支持语言模型临床应用的证据，但对于打算在自有硬件上运行开放模型的医疗系统而言，还需要了解更多信息：模型能否识别自己何时可能答错，医学微调能否改善这种能力，正确答案是否建立在可靠的临床推理之上，以及模型是否真正使用了提供给它的图像。我们以西班牙 MIR 住院医师培训入学考试为基准，针对四个参数量介于 80 亿至 270 亿之间的开放模型研究了这些问题，并按照考试本身的评分规则，对八届考试中的 1,552 道题进行了评分。在回答所有题目的情况下，三个规模较大的模型可排在考生中的约前 600 至 3,000 名，仍有 41 至 43 个专科可供选择。然而，弃答始终得不偿失，因为即使是它们最缺乏信心的答案，正确率也高于 25% 的盈亏平衡点。医学微调以准确率下降为代价降低了过度自信，却未能改善置信度区分正确答案与错误答案的能力。此外，在 13% 至 38% 的正确答案中，模型基于临床上不合理的理由排除了一个干扰选项，而置信度并未反映这一问题；移除或替换所提供的相关图像，也未改变答题准确率。