是什么使医学考试题目变难？利用大型语言模型探索与实证题目难度相关的模式

关于医学题目难度的研究主要集中于预测，而非识别与实证难度相关且可解释的模式。本研究利用实证难度标签引导大型语言模型（LLM）归纳难度评分标准，并考察评分标准指导如何影响LLM对难度的判断。研究使用United States Medical Licensing Examination（USMLE）和Physician Assistant National Certifying Examination（PANCE）的训练题目及其难度估计值，由Claude Opus 5分别归纳绝对难度和成对难度判断的评分标准。归纳出的评分标准均未将题干长度、选项数量或图像等表面特征视为难度的主要来源。在两项考试中都出现了若干模式，包括线索汇聚、误导性线索和选项竞争，但其具体形式有所不同。对无法从题干中推导出的知识进行提取，在PANCE评分标准中尤为突出；相比之下，USMLE评分标准更强调整合多个临床线索。我们在无指导和评分标准指导两种条件下，使用保留题目比较了商业LLM和开放权重LLM的表现。评分标准指导改变了模型使用难度量表的方式，但并未持续提升性能。在绝对难度判断中，指导促使模型更广泛地使用量表，并通常改善了粗粒度的一致性，但未能持续改善排序能力。在成对比较中，其影响因模型和考试而异，且判断对呈现顺序变得更加敏感。这些发现表明，基于标签的评分标准归纳，其价值可能更多在于根据实证难度数据生成可解释、可检验的假设，而不是可靠地改善难度判断。