修正一个将更严重癌症判定为更低风险的模型:膀胱癌复发预测中的单调约束
Fixing a Model That Learned Worse Cancer Means Lower Risk: Monotonic Constraints in Bladder Cancer Recurrence Prediction
精选理由
揭示常规评估难发现的医学逻辑反转,并提供无损性能的纠偏方法。
AI 摘要
arXiv:2610.00858v1 公告类型:新 摘要:背景与目标:临床医生预计,复发风险会随着癌症严重程度增加而上升。在一项英国多中心试验中,一个无约束的 XGBoost 模型却学习到,更高的肿瘤分期和原位癌预示着更低的复发风险,而判别能力、校准度和 SHAP 均未能识别这一问题。我们开发了一个反事实检验框架来检测这种反转,并开发了一个单调约束框架,在不损害性能的情况下消除该问题。方法:BOXIT 在英国51个中心纳入了472名患者,所有患者均按试验方案要求接受膀胱镜检查(2007—2012年);其中435名患者的随访时间至少为两年(153例复发,占35.2%)。我们开发了反事实方向检验和单调约束校正方法,约束方向取自 EORTC 和 EAU 风险分层系统,并在50个交叉验证折中,基于18个预测变量(其中7个具有方向性)将两种方法分别与无约束 XGBoost 和逻辑回归进行比较。该检验每次仅将患者在一个具有方向性的特征上恶化,以检查风险是否下降;同时还评估了 SHAP 方向和校准度。主要发现与局限性:肿瘤分期和原位癌均与较低的复发风险相关,这与医学直觉相反;无约束模型在90.2%的病例中反转了原位癌反事实样本的风险方向,在74.3%的病例中反转了分期反事实样本的风险方向。判别能力(ΔAUC 0.005,p=0.47)、校准度和 SHAP 大小均未能识别这一反转。单调约束消除了所有违规情况,同时未牺牲判别能力(0.723 vs 0.718),并且优于 EORTC(p=8.9e-16)。局限性:仅使用单项试验数据,且仅进行了内部—外部验证。结论与临床意义:一个学会了这种风险反转的模型通过了所有常规检查。在预先指定单调约束的情况下,仅需进行一次重新拟合的反事实方向检验即可发现这一问题,且不会牺牲性能;在临床部署前应将其作为常规步骤。