面向多模态胸部 X 线影像与 EHR 分类的类别不平衡策略基准评测:兼顾数据泄漏与标签问题
Leakage- and Label-Aware Benchmarking of Class-Imbalance Strategies for Multimodal Chest X-Ray and EHR Classification
精选理由
揭示患者间数据泄漏与标签错配如何扭曲不平衡分类评测,并提供更可靠的基准与评估流程。
AI 摘要
arXiv:2611.07950v1 公告类型:新发布 摘要:针对多模态胸部 X 线影像(CXR)与电子健康记录(EHR)预测任务的类别不平衡策略,基准评测通常采用记录级划分,而所用队列中每名患者可能贡献多张影像。我们对一项此类基准进行了审计,涉及 MIMIC-CXR 中 10,479 名患者的 29,083 张影像及八个诊断目标。首先,记录级划分的基准具有误导性:仅用一个查找表,复制开发集中具有相同 EHR 向量的影像标签,其表现就几乎与最佳模型相当;而在未见过的患者上,所有模型的表现都降至将所有病例预测为阳性的水平。其次,将标签追溯至 MIMIC-IV 后,我们发现了原因:每名患者的标签均由其单次住院的诊断编码经关键词匹配生成,再连同每名患者唯一的 EHR 向量一起复制到该患者的所有影像上,因此约三分之一影像所带的标签与其对应住院记录中的编码不符。第三,在按患者隔离、使用与住院记录对齐并经规则细化的标签进行评估时,最初的结论不再成立:在所评估的配置中,相较于不进行数据增强,没有任何不平衡策略能使观测到的平均宏 F2 提升超过 0.01;调优后的树集成模型相较于调优后的逻辑回归未表现出一致优势;已发布的 EHR 变量仍停留在全阳性基线水平,而影像采集时可获取的诊断历史和图像嵌入则超过了该基线,其中包括在采用规则细化标签时、使用 CheXpert 训练且从未见过这些影像的编码器;相比之下,RAD-DINO 在自监督预训练期间已见过其中 96.6% 的影像。将任一编码器加入诊断历史均未带来统计显著的 F2 提升;探索性分析中,RAD-DINO 带来的 AUROC 提升具有统计显著性,而 DenseNet 则没有。我们提供了可复用的诊断工具、兼顾数据泄漏问题的评测协议及检查清单。