超越时间线：利用 Grounded Entity Biographies 增强长视频记忆

回答有关长视频的问题，通常需要将数小时或数天内涉及同一物体的事件联系起来。按时间顺序排列的描述和从文本中提取的实体可能无法解决物理身份识别问题：不同物体可能共享相同描述，而对同一物体的观测也可能在不同事件之间彼此割裂。因此，检索相关事件并不一定能恢复问题所涉及特定实体的传记。为此，我们提出 Grounded Entity Biographies（GEB），这是一种长视频记忆框架，能够将跨片段、属于同一物理实例的视觉定位观测分组为可检索的传记，同时保留每个时刻的上下文。在问答过程中，系统会将该传记与情节性证据一同检索，使模型能够利用记忆构建过程中建立的身份关联，跟踪实体在不同事件中的经历。在包括全天和跨周录制内容的四个基准测试中，评测结果表明，与此前的记忆框架相比，该方法在选择题和开放式问答中均取得了提升。在 EgoLifeQA 上，GEB 达到 72.0% 的准确率，比已发表的最佳结果高出 4.4 个百分点。消融实验表明，基于视觉定位的身份关联和传记阅读都对性能提升有所贡献，而仅增加描述无法完全恢复这些增益。