arXiv cs.AI精选77

VISTA:交互式世界中的视觉推理框架

VISTA: A Visual Harness for Reasoning in an Interactive World

· 12天前

精选理由

VISTA用可检索的长期视觉记忆,提升多模态模型在复杂交互环境中的推理效率。

AI 摘要

我们展示了多模态模型具备强大的推理能力,并且合适的框架能够释放其潜力,使其解决各种交互式环境中的任务。我们提出了 VISTA,这是一种赋予通用多模态模型长时域视觉能力的视觉框架。VISTA 允许模型通过视觉观察直接感知环境,并维护无损视觉记忆,以原始形式保存过往观察结果。模型可以主动检索这些观察结果,并在推理过程中重新组织其视觉输入。在 ARC-AGI-3 上,VISTA 将 Claude Opus 5.0 的相对人类操作效率得分从 40.68 提升至满分 100.00;使用该模型时,完成全部 25 个公开游戏所需的操作次数比首次参与的人类参与者少 57.4%。VISTA 的简洁设计还使其能够在仅需极少适配的情况下,自然扩展到各种视觉环境。在另外三个涵盖多种视觉游戏和谜题的基准测试中,使用相同底层模型及极简框架的 VISTA 大幅超越了基线方法。我们的结果凸显了 VISTA 作为通用视觉框架的潜力,有望推动多模态智能体在复杂视觉环境中的发展。

查看原文(arXiv cs.AI)