DSV-Mem：评估 MLLM Agents 在专业工作流中的多模态记忆

对话式 MLLM Agents 越来越需要在专业工作流中提供协助，从 AI 研究和工程设计，到产品管理和业务运营。然而，这一能力仍缺乏充分探索：现有基准测试主要聚焦于非正式的日常交互和个人生活场景，所涉及的通常是摄影类自然图像、孤立的静态工件以及面向回忆的问题。相比之下，专业场景往往包含结构化、信息密集型的工件，这些工件会频繁经历修订和权威更新；同时还包含组合式查询，需要整合多个工件版本并精确跟踪状态。为应对这些挑战，我们提出 DSV-Mem，一个用于评估 Dense Stateful Visual Memory 的基准。DSV-Mem 包含经专家审阅的场景，以及涵盖五类面向用户的问题共 1,000 道（Current State、Past State、Derived State、Change History 和 Conflict/Refusal）。一种受 Hartley 启发的标准更倾向于选择需要更广泛检查视觉证据的问题。我们还提出了一个生成框架，通过将状态转换合成与对话填充解耦，生成评测套件。在涵盖前沿模型、开放权重模型及记忆管理方法的 27 种配置上进行评估后发现，最强基线在 DSV-Mem 上的得分低于 45%。分析得出以下发现：1）多模态性和信息密度都会增加难度，但状态演化，尤其是支配性更新的数量，是测试中的主导因素。原始对话/文本堆长度、OCR 和算术并非主要瓶颈；2）模型在回答前往往无法根据先前的状态更新核验用户前提；3）增加推理投入和采用记忆管理方法只能带来有限收益，而具备状态感知能力的设计则更为有效。该基准及其代码将公开发布。