ARC-CT: 用于3D胸部CT的 Anatomy-Routed 对比式视觉-语言学习

对比式视觉-语言学习利用配对的胸部CT体数据和放射学报告，在无需人工标注标签的情况下学习异常分类器。然而，胸部CT的两个特性给传统的全局对比学习带来了挑战。首先，许多关键异常很小或局限于特定解剖区域，将整个体数据池化为单个嵌入可能会削弱其视觉证据。其次，标准对比目标会将批次中的其他每个扫描都视为负样本。由于许多胸部CT共享异常，这一目标会错误地将共同为正样本的配对拉开。我们提出用于3D胸部CT的 Anatomy-Routed Contrastive Learning（ARC-CT），这是一个区域感知框架，仅使用由LLM从报告中提取的标签来解决这些局限，无需人工标注或边界框。ARC-CT结合了三个组件：（1）Anato-myQFormer，通过受自动生成的器官掩码约束的查询来定位证据；（2）label-Jaccard soft InfoNCE目标，将标准 one-hot 目标与每对样本的标签集合重叠相结合，从而减少共享临床发现的研究之间的误负样本惩罚；（3）器官级对齐损失，将掩码池化后的视觉特征与使用大语言模型离线提取的器官特异性报告文本连接起来。ARC-CT 使用紧凑的 3D ResNet-18 主干，在18种异常上实现了0.86的无需掩码宏平均 AUC。总体而言，ARC-CT 的表现优于可比的高效基线以及若干更大的 transformer 模型。我们的代码和权重可在 https://github.com/arc-ct/arc-ct 获取。