OpenVLHarness：真实世界视觉智能体工具使用与多模态记忆

多模态大语言模型（MLLM）在视觉推理方面取得了快速进展，但许多任务所需的证据难以仅通过内部推理获得：我们在 22 个基准测试上开展的对照研究表明，简单增加基础模型的推理预算只能带来有限提升。这类任务需要基于真实依据的感知、外部知识以及通过异构工具获得的数值测量结果，同时还必须让模型能够理解这些工具的输出，并在各个推理步骤之间保留这些信息。我们提出 OpenVLHarness，这是一个围绕能力层和持久化多模态记忆构建的多模态推理框架。能力层将任务级工具接口与证据呈现相结合，为异构后端提供一致的访问方式，并将其输出转换为模型可读的观察结果。持久化多模态记忆会在每次查询期间，将相应的图像、结构化数据和网页引用保留为可寻址的工件。代码接口可对存储的数据执行生成的程序，从而实现结合多个工具结果的计算。上述机制共同支持获取、检查和组合多模态证据的迭代过程。在 22 个基准测试和 8 个开放及专有骨干模型上的评估表明，相较于匹配的无工具基线，OpenVLHarness 将平均得分提升了 9.7–12.6 分，其中使用 Qwen3-VL-8B 时提升 11.2 分，使用 Kimi K3 时提升 9.7 分，使用 GPT-6 Astra 时提升 9.9 分。在中等推理强度下使用 GPT-6 Luna 时，OpenVLHarness 相较于最高推理强度下的基础模型、Codex 和 Visual Sketchpad 高出 7.7–8.5 分，同时模型 token 成本最高仅为它们的 37%。