医学基础模型在标签监督下的趋同性较低

arXiv:2607.20274v3 公告类型：替换并交叉列出 摘要：诊断分类器和影像生物标志物基于医学基础模型的嵌入表示进行拟合。随着新版本出现，这些模型会被替换。这种做法假定不同模型对图像的表示方式相似。我们使用来自5种成像模态、14个数据集的超过750,000张图像、18个公开模型，以及101个在胸部X线片和组织病理图像上训练的模型，检验了这一假设。这101个模型在预训练目标、标签类型、规模、随机种子、初始化、训练所用患者或训练方案方面存在差异。我们以相互k近邻重叠率衡量一致性，即一张图像在两个模型中的最近邻集合共有元素所占的比例。对于一张胸部X线片，两个公开模型的10个最近邻平均重叠比例为0.091。随机初始化的网络与这些模型的重叠比例为0.036。在其余四种模态中，两个公开模型的重叠比例最高为0.300。在胸部X线片上，一致性更多地取决于来源数据集和摄片体位，而非影像所见，且与准确率无显著关联。利用4,096张无标签X线片拟合两个模型嵌入表示之间的线性映射后，可迁移针对14种胸部影像所见的分类器，其受试者工作特征曲线下面积达到原始值的0.987。趋同性取决于预训练目标。在胸部X线摄影和组织病理学中，标签监督模型在两种模型规模下的趋同性均最低。在胸部X线片上，仅随机种子不同的两个标签监督模型，其最近邻重叠比例为0.062至0.100。而采用自蒸馏、掩码图像建模或对比预训练的两个模型，其最近邻重叠比例为0.411至0.802。因此，开发者在选择预训练目标时，也可以选择模型的趋同性。在替换模型之前，用户可以使用无标签图像检验后继模型是否返回相同的最近邻。