ECG Mirage：揭示并缓解 Vision-Language Models 在临床预测中对 ECG 的未充分利用

急诊科（ED）的决策依赖于异质的临床信息，包括患者病史、生命体征、实验室结果和心电图（ECG）。Vision-Language Models（VLMs）能够联合处理这些模态，但强大的预测性能并不一定意味着模型有效利用了正确患者的 ECG。我们将这种失效模式称为 ECG Mirage：表面上具备多模态能力，却未有效依赖患者特异性的 ECG 信息。我们区分了两种形式：ECG 忽视，即 ECG 几乎不带来预测收益；以及 ECG 混淆，即匹配的 ECG 优于无图像输入，但不如不匹配的 ECG。为评估这些行为，我们在固定临床文本和预测目标的情况下，对比使用匹配 ECG、与结局不一致的不匹配 ECG 以及无图像输入时得到的预测结果。在 MDS-ED 上的四个 VLMs 中，无论是 ICU 入院预测还是临床恶化预测，匹配 ECG 都未表现出一致的优势。随后，我们先使用监督学习，再进行条件直接偏好优化，训练了四个受限视觉提示，同时冻结 VLM 主干。所得模型在 ICU 入院和临床恶化预测上的平衡准确率分别达到 70.6% 和 67.5%，并将匹配与不匹配条件之间的性能差距分别提高到约 16.5 个百分点和 5.5 个百分点。总体而言，本研究识别了多模态临床预测中的 ECG Mirage，并提出将视觉提示调优作为一种高效的缓解策略。