NV-Reason-CT：用于 CT 分析的 3D 视觉语言模型

我们提出了 NV-Reason-CT，这是一种用于胸部和腹部 CT 的生成式视觉-语言模型，结合了原生 3D 视觉编码与放射科医生指导的推理。该模型将原生 3D 视觉 Transformer 与语言模型相耦合，将所有视觉 token 及其明确的 3D 坐标输入语言解码过程，而不进行进一步的空间 token 合并。这在视觉编码器内部，并在与文本联合处理期间通过语言模型的位置编码，保留了体积空间信息。 我们在一个经过整理的语料库上进行训练，该语料库包含来自 70,111 个唯一 CT 图像输入的约 550,000 个多模态指令示例，结合了标准化报告、聚焦异常和特定解剖结构的问题、多轮交互，以及来自已记录并转录的专家 CT 解读、由放射科医生撰写的推理。专家标注提供直接监督，并指导额外的基于报告的合成推理。端到端监督微调（SFT）之后采用 Group Relative Policy Optimization（GRPO），并在胸部和腹部异常集合上使用可验证奖励。 该模型支持异常分类、报告生成，以及带有可审查观察结果、鉴别诊断和不确定性的交互式推理。评估涵盖公开 CT 基准和一个留出的 NIH 队列。在 CT-RATE 上，NV-Reason-CT 在没有任务特定分类头的情况下实现了 0.614 的 macro-F1 和 0.871 的 macro-AUROC；生成的报告达到了 0.592 的基于报告推导的 macro-F1。在一项由专家放射科医生参与的初步研究中，AI 辅助审阅获得了有利的信心评分，并与平均报告的解读和报告时间减少 50% 相关。我们发布该模型和训练代码，以支持针对体积医学影像可解释 AI 的可复现研究。