Jev 能否评判放射学报告？评估用于临床事实准确性的 System One 模型

AI 生成的放射学报告可能看起来与医生撰写的报告相似，却遗漏某项异常、添加缺乏依据的发现，或颠倒某项异常的有无。衡量这些事实差异对于评估报告生成器至关重要。我们研究了 Jev（一种 System One 决策模型）作为一种简单、低成本的评判器，用于评估生成报告与医生撰写的参考报告之间的一致性。我们的评估器会检查每条陈述是否得到另一份报告的支持，并在两个方向上结合这些判断，以捕捉缺乏依据的主张和遗漏。单问题配置在 RadEvalX 和 RadEvalExpert 上分别与专家错误计数达到 0.573 和 0.398 的 Kendall 相关系数，在采用匹配的分解与聚合方式时，优于一个开放式自然语言推理评判器。每条陈述提出一个支持性问题，在仅使用 43%–45% 的评判输入词元的情况下，与提出七个问题相比仍保持相近的专家一致性。按文档所述的 API 价格计算，在不包括本地分解的情况下，每评判一百对报告的成本低于三美分。在另一项受控错误测试中，Jev 检测错误否定的 AUROC 达到 0.977。Local RadMatch 在两个专家数据集的临床显著错误上，以及共享的 RadEvalExpert 子集的总错误上，都实现了更高的一致性。发现数量和错误范围分析表明，基准一致性不仅反映医学错误检测能力，也受到报告规模和错误定义的影响。这些结果支持将 Jev 作为一种实用的评判组件，用于衡量生成放射学报告中的事实差异，同时也明确了更复杂评估仍然具有价值的方面。