MIST：基因组引导的组织学注意力多模态生存预测

多模态生存模型可以结合全切片图像和基因组谱中的互补预后信息，但在外部队列偏移和计算复杂性存在的情况下，实现有效融合仍然具有挑战性。为应对这些挑战，我们提出了 MIST，即基因组引导的组织学注意力多模态生存预测方法。MIST 将基因组特征表示为标记，并允许这些标记在进行生存预测之前查询紧凑型基础模型提取的组织学上下文标记。该设计不是仅在最终阶段合并分别编码的模态，而是利用组织学上下文丰富分子信息。训练过程将离散时间生存预测与基因组特征掩码、WSI 丢弃以及配对 WSI-基因组对比对齐相结合。在结肠癌、肾癌、肺癌和胶质母细胞瘤队列的四项外部评估中，MIST 在主要比较中均较标准融合基线提高了外部 C-index。这些结果表明，基因组引导的组织学注意力是一种紧凑且有效的多模态肿瘤学结局预测策略。我们的代码可在 https://github.com/samiyavuuz/MIST 获取。