arXiv cs.AI精选72

VideoTapestry:面向多智能体长视频理解的查询自适应记忆细化

VideoTapestry: Query-Adaptive Memory Refinement for Multi-Agent Long-Video Understanding

· 8天前

精选理由

介绍一种多智能体长视频记忆精炼方法,提升跨时间信息检索与问答准确性。

AI 摘要

长视频理解对记忆提出了很高要求,因为回答问题通常需要检索分布在较长时间跨度中的信息。现有方法大致遵循两种范式:查询驱动的探索容易受到定位错误的影响,而与查询无关的记忆构建则可能遗漏特定于问题的细节。我们提出 VideoTapestry,一种无需训练的多智能体框架,通过由粗到细的查询驱动细化,自适应地调整预构建的分层视频记忆。预构建记忆将视频内容组织为三个层级,分别捕捉全局叙事上下文、事件级时间结构和细粒度关系证据。为支持由粗到细的定位与观察,我们为每个层级分配一个专门的智能体,使检索和细化保持在特定尺度的上下文范围内。在查询引导下,这些智能体重新访问相关视频区域,并通过有针对性的多模态观察丰富各层记忆。随后,根据原始层级结构对这些细化结果进行组装,形成复合的查询自适应记忆:以紧凑形式保留全局上下文,同时沿与查询相关的分支保留细粒度证据,以供最终推理使用。与直接进行 GPT-5.5 推理相比,VideoTapestry 在 LVBench、LongVideoBench (Long)、Video-MME (Long) 和 EgoSchema 上的绝对准确率分别提升了 17.2%、14.9%、9.8% 和 7.0%,在所有竞争方法中取得了当前最佳结果。

查看原文(arXiv cs.AI)