基于多模态知识蒸馏的全视野切片图像胃腺癌分类

胃腺癌（GA）是全球癌症相关死亡的主要原因之一，从全视野切片图像（WSI）中准确分类组织病理学亚型对于制定有效的治疗方案至关重要。尽管将病理报告文本与WSI相结合的多模态方法能够提高分类性能，但现有方法通常依赖计算成本高昂的Transformer架构和大型语言模型。我们提出了一种多模态知识蒸馏（MKD）框架，使用低秩多模态融合（LMF）将预训练的WSI图像编码器与临床文本编码器相结合，从而在训练过程中高效地建模跨模态交互。每张WSI都表示为一个图像块集合，并与一条切片级诊断描述配对。教师模型学习融合后的图像-文本表示，用于亚型分类；学生模型则蒸馏这些知识，以实现准确的仅图像推理。我们在PatchGastric基准数据集上评估了该方法，其平均准确率至少比最先进的方法高3.35%，且无需依赖基于Transformer的融合、多任务学习或大型语言模型。源代码可在https://github.com/helomelo1/MKD-LMF获取。