融合异构证据的检索增强多模态语言模型用于临床预后预测

临床预后预测需要整合结构化测量数据、生理波形、纵向病史和人群背景信息。我们提出 PRISM（Population-Retrieved Inference for Structured Multimodal Prognosis），这是一种多模态语言模型，结合了逐特征数值词元化、按时间近远加权的纵向心电图聚合，以及双模态人群记忆库。检索在表征空间中进行：模型接收训练队列中相似就诊记录的均值池化嵌入，而不会将任何单条检索记录输入提示。在包含 1,443 项任务的 MDS-ED 基准上，PRISM 在诊断、病情恶化、入住重症监护病房和死亡预测任务中的 AUROC 分别达到 86.2%、93.1%、91.8% 和 92.8%。这些结果使用了已报告基线未能获取的到院前 96 小时时间窗数据。仅使用基准时间窗内的输入时，PRISM 的 AUROC 达到 0.8895，而 UniPACT 和 MDS-ED 分别为 0.8937 和 0.8889。在输入匹配的条件下，使用相同五类证据流和冻结编码器的紧凑型融合模型达到 0.7652 的 AUROC，而 PRISM 为 0.9092。将数值型电子健康记录编码替换为文本序列化后，AUROC 下降 3.66 个百分点；移除到院前病史后下降 1.97 个百分点；将检索结果置零后下降 0.99 个百分点。真实检索的宏平均表现比随机近邻检索高 0.97 个百分点，但任务层面的配对符号检验未能确立一致优势（p=0.067）。在外部 MC-MED 队列上，经过有监督微调后的 AUROC 达到 0.8611，而在本地训练的梯度提升模型和仅在源数据上训练的 PRISM 分别为 0.8227 和 0.7841。这些结果支持结构感知的多模态整合与有监督的外部适配。