MMEnterprise-Bench：评估基于不断演化的多模态记录的企业代理

企业代理需要针对通过团队协作不断演化的工作场所记录回答问题。随着信息在文档、聊天和图表之间被共享、更正和修订，同一信息的多个版本会在工作空间中累积。因此，可靠的问题回答要求代理基于充分证据进行推理，解决跨来源和时间上的冲突，并识别现有证据不足以确定答案的情况。为系统评估这些能力，我们推出了 MMEnterprise-Bench，这是一个包含 1,613 个问题的基准，问题基于模拟协作项目中的不断演化的多模态记录构建，涵盖三类：证据推理、冲突解决和不可回答性。我们评估了 10 个专有和开源多模态 LLM，发现即使是最强的模型，在证据包含跨来源或时间冲突，或分布于多张图像中时，也难以应对。此外，增加检索预算或采用更大的检索器能够提升证据召回率，但并不能稳定地转化为更高的答案准确率。这些发现凸显了对不断演化的工作场所记录进行推理所面临的持续挑战，并将 MMEnterprise-Bench 确立为开发更可靠企业代理的测试平台。代码和数据可在 https://mlvlab.github.io/MMEnterprise-Bench/ 获取。