arXiv cs.LG精选80

用于评估 ICU 脓毒症预测中插补策略的警报列表一致性

Alert-List Concordance for Evaluating Imputation Strategies in ICU Sepsis Prediction

· 2小时前

精选理由

用Jaccard评估插补对预警名单的影响,揭示相近AUROC也可能筛出不同患者。

AI 摘要

arXiv:2610.22635v1 公告类型:新 摘要:预处理是临床预测中一个被低估的可靠性风险:模型可以保持相近的 AUROC,却仍然改变哪些患者会收到警报。插补质量通常通过重构误差或总体判别能力进行评估,但这两者都无法直接衡量在标记哪些患者方面的一致性。在警报率匹配的情况下,总体性能相近的流程可能产生不同的患者列表。这个问题在真实 ICU 记录中频繁出现的结构化缺失情形下尤为重要。因此,我们提出警报列表一致性这一指标,用于考察两个流程是否识别出相同的高风险患者;该指标通过两个流程各自前 k% 警报集合的 Jaccard 相似度进行衡量,并计算患者级 bootstrap 置信区间。在 PhysioNet/CinC 2019 数据集上(40,336 名患者,缺失率为 71.9%),我们使用固定的 XGBoost 配置,分别针对每种策略进行拟合和 Platt 校准,对比了九种插补策略和一个原生缺失基线。经过 Bonferroni 校正后,28 个重构方法两两比较中的 22 对在患者级 AUROC 上没有表现出统计显著差异,但其警报列表的 Jaccard 重叠度介于 0.518 至 0.750 之间。因此,总体判别能力相近可能伴随着不同的患者选择。ForwardFill 是一个独立的异常值:它具有更高的判别能力,但在矩阵中的重叠度最低,为 0.40 至 0.45。在每个医院系统内部以及采用六种患者级聚合规则时,这一总体模式仍然成立。在行级别,十种方法中的八种 AUROC 差异落在 0.011 的范围内。在这一行级流程中,深度插补器在判别能力方面并未优于均值插补;在我们的硬件上,顺序式实现的整个流程墙钟时间成本是均值插补的 5 至 12 倍。

查看原文(arXiv cs.LG)