SurgStream：面向实时手术视频理解的工作流锚定式主动流式框架与基准
SurgStream: A Workflow-Anchored Proactive Streaming Framework and Benchmark for Real-Time Surgical Video Understanding
精选理由
提出结合流程记忆与时限感知的手术视频实时理解框架及基准，助力及时监测、预警和术中决策。
AI 摘要
手术视频理解对于工作流监测、器械准备和手术过程记录等术中辅助至关重要。要实时提供此类辅助，模型需要同时感知当前场景、记住既往手术事件，并在具有临床意义的时机过去之前作出响应。现有方法在流式手术视频中同时保留手术过程证据与决定响应时机方面的支持有限。在本研究中，我们提出 SurgStream，一种面向实时手术视频理解的工作流锚定式主动流式框架。我们首先引入 Workflow-Anchored Memory（WAM），用于记录结构化的器械—动作—目标观测，并将其整合为阶段级摘要，从而提供紧凑且可查询的手术记忆。随后，我们设计了 Deadline-aware Transition Learning（DTL），用于在临床时间窗口内对响应状态进行监督，使模型能够在手术流程的截止时限之前及时响应。我们进一步推出 SurgStream-Bench，其中包含 1.17 万次流式交互，涉及实时感知、回溯记忆查询、前瞻性主动问答、主动警报和描述记忆等多种任务。在 SurgStream-Bench 上的实验表明，该方法优于现有最先进方法，尤其在记忆和前瞻性主动问答方面提升显著。源代码将予以公开。