胸部X线摄影的视觉语言模型并不总是需要图像

arXiv:2606.17710v3 公告类型：替换交叉版本 摘要：用于回答胸部X线片相关问题的视觉语言模型，通常依据从放射科报告中提取的标签来评估其准确率。基准测试中的高准确率常被解读为模型使用了图像的证据。然而，仅根据问题中提到的发现作答的模型，其得分可能与使用X线片的模型一样高。在保持问题不变的情况下，我们通过以下方式审查了八个开放权重系统：换入另一名患者的、具有相同或相反标签的X线片；遮挡放射科医生标记的区域或其他位置大小相同的区域；移除X线片，或用噪声或照片替代X线片。在来自MIMIC-CXR的2548个是非题中，一个多模态模型无论图像如何都回答“是”；另一个多模态模型会改变答案，但不遵循标签；还有四个系统会使用图像，但当X线片被替换为具有相反标签的X线片时，仍保留约一半的正确答案。一个仅接收问题文本的医学模型，在合并题目上的得分为55.3%，高于两个多模态系统。在每个发现都存在的情况下，该模型得分为91.8%；在该情况下，对所有问题都回答“是”可得100%。在图像不可或缺的情况下，表现最佳的多模态系统在平衡准确率上比该模型高10.4%。在CheXpert上，各类别结果没有变化。当正确答案取决于标记区域时，模型的置信度并不会更高。在一项由三名放射科医生参与的阅片者研究中，阅读了包含200个均衡病例的数据集的两名放射科医生得分分别为86.0%和82.0%，各系统得分为50.0%至73.0%。准确率并不能证明模型使用了图像，但对图像进行干预可以检验这一点。