arXiv cs.AI精选72

基于双粒度对比对齐的多模态提示学习:利用3D CT术前预测肺腺癌浸润性

Multimodal Prompt Learning with Dual-Granularity Contrastive Alignment for Preoperative Prediction of Lung Adenocarcinoma Invasiveness Using 3D CT

· 20小时前

精选理由

将临床报告与影像双层对齐,提升肺腺癌浸润性术前预测准确度,且部署时仅需CT影像。

AI 摘要

准确地在术前预测肺腺癌浸润性对于手术规划和个体化治疗至关重要。然而,CT影像表现的重叠使得浸润性腺癌(IAD)与浸润前病变(Pre-IAD)难以区分。我们提出了一种具有双粒度图像-文本对齐机制的多模态提示学习框架,用于基于3D CT的IAD分类。3D ResNet-CBAM编码器提取全局和空间视觉特征。通过分别设置用于报告级和关键词级文本编码的可学习提示,对冻结的RadBERT骨干网络进行适配。这些提示利用从真实世界临床报告中提取的语义表示进行初始化。全局对比对齐将完整CT体积的表示与根据临床医生标注的影像学属性生成的报告相联系,以提供整体语义监督。基于多实例学习的局部对齐模块将CT空间特征与聚焦血管的影像学关键词相关联,以捕捉可能与肿瘤浸润相关的局部影像特征。该框架联合优化分类目标和对齐目标,而推理时仅需CT图像。实验纳入了1,593个经病理确诊的结节。在测试集上,所提方法的准确率为87.92%,F1分数为87.78%,AUC为0.9499。其AUC显著高于采用相同视觉骨干网络、仅使用图像的Res-CBAM基线模型(0.9297;DeLong检验,p = 0.0078)。消融分析支持了全局对齐与局部对齐的互补贡献,以及基于报告的提示初始化所带来的益处。定性可视化显示,结节内部及邻近血管结构中存在激活。这些结果表明,双粒度影像学监督能够提升基于CT的浸润性预测性能,同时保留仅依赖CT的推理流程。

查看原文(arXiv cs.AI)