PANDA - 用于部分未配对多模态学习的原型锚定对齐，及其在阿尔茨海默病 MRI 和 TCGA 病理中的应用

多模态医学预测常常面临配对不完整的问题：具有互补信号的辅助模态只对一部分受试者可用（甚至完全不可用），且在部署时不能假设其存在。我们提出 PANDA（Prototype Anchored Data Alignment），这是一种两阶段框架，可在推理时没有辅助输入的情况下，将辅助信息传递给主模态模型。第 1 阶段从已配对子集中学习共享嵌入，并从辅助模态估计类别原型；第 2 阶段使用交叉熵损失加上与冻结原型的对齐项，在所有受试者上训练主编码器。由于监督定义在类别原型层面，PANDA 能适应任意配对率，包括受试者重叠为零的情况。我们在两个应用上评估 PANDA。在一个包含 1,021 名受试者的多扫描仪 ADNI 队列上，我们在三种配对率不同的辅助模态下进行 AD/CN 分类：表格化评分（44.8%）、FDG-PET（18.7%）以及外部手写运动学数据（0% 重叠）。相较于相同 backbone 的仅 MRI 基线，PANDA 达到 AUC 0.868 +-0.020（提升 7.9 个百分点），并将 1.5T 条件下 CN 假阳性减少 24.3 个百分点；在一个可完全训练的 Conv5-FC3 backbone 上，它达到 AUC 0.893（整体最佳）。配对率消融结果表明，联合锚点在 75% 到 5% 的配对率范围内始终保持在随机种子噪声范围内。在以 RNA-seq 作为辅助数据、基于全切片图像进行的 TCGA-Lung 生存预测任务上，PANDA 在 2 年 OS（AUC +3.5 个百分点）和 Cox PH（C-index +9.0 分）方面优于仅 WSI，并且优于全融合训练；后者甚至不如仅 WSI，但 PANDA 在推理时无需 RNA。由于该队列较小，较宽的置信区间使得这些提升低于常规显著性水平。总体而言，PANDA 提供了一种面向部署的机制，用于利用不完整的辅助模态来提升主模态预测。