DeltaStreamer：迈向类人智能体式流式视频理解

我们提出 DeltaStreamer，这是一种新颖的智能体式流式视频理解框架，其灵感源于人类观察、记忆和探究的方式。流式视频理解要求系统在尚不清楚未来查询需要哪些细节时，就保留相关证据。现有方法在压缩视频历史时，往往会模糊事件转变并遗漏相关细节，而且无法恢复缺失的视觉证据。DeltaStreamer 将变化感知记忆、查询驱动规划以及借助回放进行的针对性证据收集相结合，以解决这些局限。在查询到来之前，它持续观察视频流，并在结构化记忆中显式记录视觉变化，保留事件如何展开的信息，而不仅仅记录画面中存在什么。当查询到来时，查询驱动的规划器会识别所需证据，并指导记忆检索和针对性回放。通过重新查看历史帧，智能体能够恢复观察过程中遗漏的视觉细节，并基于留存描述之外的证据作答。这将持续观察与针对每个问题的主动探究联系起来。在 OVO-Bench 和 StreamingBench 上的实验表明，DeltaStreamer 优于具有代表性的流式视频理解方法，总体得分分别为 66.07% 和 59.53%。项目页面：https://bbbbchan.github.io/DeltaStreamer/