GateSPINE：用于腰椎 MRI 报告生成的门控跨视图融合

自动报告生成可以减轻放射科医生解读多序列 MRI 检查时的负担。不同于 CT，MRI 检查包含多个序列和成像平面，每个序列和成像平面都提供互补的诊断信息。现有方法将一次检查编码为单个体积，并通过固定规则组合多次采集。因此，仅在一个平面中可见的征象会被稀释，并且经常被漏检，从而降低临床效用指标中的召回率，因为漏掉异常所造成的代价最高。我们提出了 GateSPINE，这是一种视觉-语言框架，通过一个无需训练的算子融合矢状位 T1 和 T2 体积，使用两个并行的 3D 编码器对融合后的矢状位和轴位体积进行编码，并将它们的组合表示解码为报告。其核心机制是一种门控跨视图融合模块，针对每个特征通道和 token 预测应接纳每个视图多少信息，使信息量更大的视图在每个空间位置占据主导。我们在三个腰椎 MRI 数据集上评估了 GateSPINE，包括两个公开基准数据集和一个由 Phenikaa University Hospital 收集的私有队列，同时采用自然语言生成（NLG）和临床效用（CE）指标。在全部三个数据集上，GateSPINE 都通过提高召回率取得了最高的 CE F1 分数；在缺少轴位序列的 SPIDER 上，这一结果体现的是矢状位融合组件的作用，而不是门控跨视图机制的作用，后者已在包含两种成像平面的两个队列上得到验证。GateSPINE 在标准 NLG 指标上也保持了竞争力。