RM-VLM：从自然语言任务描述到视觉接地的奖励机

奖励机（RMs）被提出作为强化学习（RL）中的一种奖励表述方式，用于刻画信用分配依赖于历史的非马尔可夫任务。通过将奖励函数表示为自动机，RMs 显式呈现任务的时序结构，使此类奖励能够在马尔可夫框架内得到处理。然而，RMs 假定存在一个标注函数，即针对观测的命题接地预言机，而该函数必须针对每个环境进行人工设计，这限制了其更广泛的适用性。在本研究中，我们提出了一种新方法 RM-VLM，以解决这一局限：大型语言模型（LLM）根据自然语言任务描述生成 RM，视觉语言模型（VLM）则充当标注函数，在 RM 引导的策略学习过程中，将 RM 的命题与基于图像的观测相对应。我们使用基于 VLM 的价值函数估计器来评估智能体朝着每个 RM 状态转移推进的进展，并据此生成稠密奖励信号。我们在三个领域中评估了 RM-VLM，涵盖非马尔可夫网格世界导航、机器人操控和三维物体收集。实验结果表明，在所有测试领域中，RM-VLM 的任务成功率均高于现有的基于 VLM 的奖励方法。