TomoTransformer：迈向 CT 重建的基础模型

arXiv:2609.37605v2 公告类型：replace-cross 摘要：有监督深度学习推动了稀疏视角断层重建的发展。然而，传统模型通常将滤波反投影（FBP）图像或正弦图映射为高质量重建结果，在分布偏移下表现脆弱。由于投影数量和角度、探测器分辨率或数据分布发生变化时都需要重新训练，这些模型在实际应用中的部署仍受到限制。为解决这一问题，我们提出了 TomoTransformer，这是一种基于 transformer 的架构，将每个局部滤波投影视为一个独立的标记，并通过自注意力机制预测缺失视角。关键在于，TomoTransformer 在反投影空间中运行，将不同空间位置上的投影分离开来，从而使视角插值在几何上定义良好，并且不受探测器尺寸影响。这一设计产生了一个统一的基础模型，无需重新训练即可处理任意数量的输入投影、任意角度位置和任意探测器尺寸，并查询任意数量的目标角度。TomoTransformer 在涵盖多种医学 CT 解剖部位和自然图像的大规模数据集上进行训练，能够有效泛化到不同的解剖部位、材料和分辨率。在多个基准稀疏视角数据集上的广泛评估表明，TomoTransformer 的性能显著优于 ViewTrans 等同期多用途模型，并达到或超过了性能强劲的特定协议基线，同时完全不受输入投影数量和目标投影数量的限制。此外，该模型在由 X 射线同步辐射装置采集的真实实验纳米级脑部数据上展现出稳健的零样本泛化能力，彰显了其在实际应用中的实用价值。