WorldAuditBench：使用多模态智能体进行交互式 3D 世界审计

随着交互式 3D 世界日益被用于研究智能行为，开发高效流程以识别这些模拟环境中的异常变得十分重要，例如漂浮物体、可穿越的墙壁，或与周围场景不一致的物体。包括视觉语言模型（VLM）和视觉语言动作模型（VLA）在内的多模态 AI 系统，已展现出自动化执行这一任务的潜力。然而，3D 世界审计十分复杂，需要将两种截然不同的能力紧密结合：行动能力，用于在 3D 世界中导航，并系统且高效地搜寻异常；视觉推理能力，用于理解环境，并从多模态观测中识别异常。多模态智能体能否有效结合这两种能力，目前仍基本未得到探索：它们能否在采取行动验证潜在异常的同时，利用视觉推理识别这些异常。本文介绍 WorldAuditBench，这是一个用于 3D 世界审计的基准，包含跨越五类异常、分布于 13 个环境中的 213 项异常任务；这些环境使用 Unreal Engine 5 和 Three.js 构建。我们在固定探索预算下，采用两种审计范式评估了五个前沿模型：先基于 VLA 进行探索，再基于 VLM 识别异常；以及一种端到端 VLM 智能体，其中视觉推理直接指导行动选择。在所评估的模型和两种范式中，成功率介于 6.6% 和 42.3% 之间，显著低于人类表现（83.4%）。通过世界审计任务，WorldAuditBench 为研究多模态智能体如何在交互式 3D 环境中结合行动与视觉推理提供了测试平台，同时凸显了当前这类智能体在探索过程中收集和解读证据方面的能力局限。