DIGOM：用于多模态医疗结局预测的解耦交互图

多模态医疗数据包含超越单个患者观测的关系信息。因此，有效的临床结局预测不仅需要整合多种模态的信息，还需要对它们之间的关系进行建模。标准融合方法无法显式捕捉这些交互，而现有的基于图的方法通常仅对其中一部分交互进行建模。我们提出 DIGOM（用于多模态医疗结局预测的解耦交互图），这是一个基于图的框架，可联合建模三种互补的交互类型：患者内跨模态交互、跨患者同模态交互和跨患者跨模态交互。DIGOM 学习具有解耦视图的稀疏多层图，每个视图编码患者间模态对的交互。通过可微机制对具有患者自适应连接结构的离散邻接矩阵进行采样，从而实现端到端学习，并使模型能够选择信息丰富的关系，而无需预设固定的邻居数量。正则化目标维持图的整体稀疏性，同时，消息传递将这些关系上下文整合到患者表示中，用于结局预测。我们在 MIMIC-IV 和 NIH-TB 两个多模态医疗数据集上，针对五项临床预测任务评估了 DIGOM。DIGOM 在全部五项任务上均取得了最高的 AUROC，同时使用的连接数少于现有的多交互方法。消融研究表明，各交互类型的贡献因任务而异，凸显了针对不同任务调整关系结构的必要性。DIGOM 对模态缺失也表现出更强的鲁棒性，表明学习到的关系能够在某些模态不可用时提供补充信息。事后分析进一步揭示了所学习图中与特定任务和结局相关的连接模式。