SurgTransfer：面向手术世界模型中动作迁移的多步潜在动作建模

arXiv:2611.05443v1 公告类型：交叉发布 摘要：手术世界模型有望提供术中指导、加速无风险训练，并促进专家手术操作的迁移。然而，利用世界模型迁移手术专业技能的研究仍然十分有限。此外，该领域近期的方法主要依赖真实运动学动作或针对特定任务的专家标注，这使其适用范围局限于具有真实标注的少数任务。相比之下，自然场景领域的现有研究在仅从无标注视频中学习潜在动作，并将所学动作迁移至不同情境方面，已取得了令人鼓舞的成果。我们发现，这种范式在手术领域缺乏长程视野，无法捕捉手术过程的层次性和目标导向结构。因此，我们提出了一种新颖的多步动作学习框架，用于学习不随情境变化的潜在动作，使其能够轻松迁移至各种手术情境。我们在公开数据集 SurgToolLoc-2022 和 PitVis-2023 上开展了广泛实验，通过定量指标和手术专家的定性评估验证了我们的方法。我们已在 https://github.com/bhattarailab/Surgical-Vision-World-Model 发布代码和实现细节。