RoboQuest：能够搜索、检查和测试的通用物理智能体

多模态基础模型的最新进展使其能够作为通用物理智能体，执行多种操作任务。然而，要在陌生环境中成功完成任务，当观测中缺少任务相关信息时，智能体可能需要通过交互主动获取这些信息：它可能需要确定相关物体的位置、检查尚未观测到的属性，或探明陌生工具的作用。因此，我们提出 RoboQuest，这是一个面向目标导向具身探索的基准，要求智能体通过物理交互主动获取任务相关信息，利用由此获得的证据调整后续行动，并自主决定何时着手完成任务。RoboQuest 包含十项移动操作任务，围绕三类不确定性展开：搜索、基于操作的检查和交互式测试。我们通过统一的视觉运动接口评估了五个前沿多模态智能体，并评估了一个利用我们发布的完整回合演示数据微调的 $π_{0.5}$ 策略。表现最好的智能体仅在 23\% 的回合中成功，而微调后的策略几乎从未成功。在提供隐藏信息的情况下，对构成这些任务的执行技能进行单独测试，结果表明智能体能够完成大多数所需动作；我们的失败分析也显示，只有少数失败可归因于执行问题。失败分析进一步发现，智能体经常过早停止探索，在观测到完成任务所需的证据之前就做出决策。我们还发现，智能体很少预防或修复其探索造成的扰动。此外，对大多数模型而言，通过试错进行学习仍然十分困难。