InnerLogic-Surg:通过持续预训练构建的开放手术基础模型
InnerLogic-Surg: An Open Surgical Foundation Model via Continual Pretraining
精选理由
提供开放的手术视觉基础模型,覆盖多类术式与20项任务,为手术图像分析提供更强、可迁移的通用特征。
AI 摘要
视觉基础模型是现代手术图像分析的骨干,但大多数手术系统仍依赖于在自然图像上预训练的编码器,或在相对较小的数据集上从头训练的专用模型。在大量手术专属数据上预训练编码器,有望仅通过提供更强大的骨干网络,就普遍提升手术图像分析方法的性能。本文提出 InnerLogic-Surg,这是一个开放的手术视觉编码器系列(参数量为 2100 万至 3 亿),通过在数百万张手术图像上对基于 Transformer 的图像编码器进行持续预训练而获得。这些图像整理自互联网上的 11,965 段手术视频,总时长约 2,900 小时,涵盖十五种以上的手术类型。我们的训练方案沿用 DINOv3 的预训练阶段,以在适应手术领域后保留表征能力,并额外采用一个经学习的特征上采样模块,以较低的 token 开销实现高分辨率密集预测。在涵盖工作流程、器械与解剖结构识别、分割、检测及单目深度估计的基准测试中,在相同架构下,规模最大的 InnerLogic-Surg 模型在全部 20 项手术任务上均取得了最佳的线性探测性能。我们证明,面向手术的持续预训练能够产生可迁移的表征,并泛化至不同手术、解剖区域和任务类型。这表明,我们的手术图像编码器有望成为一种可扩展的替代方案,取代长期主导手术计算机视觉领域的、针对特定手术的表征学习方法。