arXiv cs.AI精选74

D&A:解耦描述与评估,使 VLMs 能够充当零样本机器人奖励模型

D&A: Decoupling Description and Assessment Enables VLMs as Zero-Shot Robotic Reward Models

· 14小时前

精选理由

通过先描述场景再按明确标准评估,让视觉语言模型更准确衡量机器人任务进度与失败程度,且无需额外训练。

AI 摘要

视觉语言模型(VLMs)在机器人学习中的零样本视频任务进度估计方面展现出潜力,但现有框架往往存在确认偏差:由于隐含的成功假设或基于相对时间排序的设计,它们会在执行失败时产生进度幻觉。直接对前沿模型使用简单提示,会使其退化为二元成功检测器,无法捕捉细微、非线性的进度变化和失败情况。尽管后训练方法可以通过显式训练缓解这一问题,但它们需要成本高昂的真实世界机器人数据,并且必须针对每个基础模型分别进行计算密集型后训练。为解决这些局限,我们提出 D&A(Describe & Assess):该方法将进度估计解耦为两个阶段,首先生成以任务为依据、客观描述场景动态的文本,然后使用明确的评分准则进行评估。通过要求 VLM 在评分前生成基于文本的、明确的绝对成功定义,该框架将评估锚定于外部的全局标准,而非视频内部的时间线。实验结果表明,我们的方法能够校准零样本估计并缓解确认偏差,提供细粒度的部分进度指标,在准确惩罚失败执行的同时,对成功执行过程中的进度进行正确插值。作为一种纯提示驱动的方法,D&A 能够跨任务、机器人形态和基准泛化,达到或超越经过后训练的奖励模型的表现,其奖励估计还能支持高效的下游强化学习。

查看原文(arXiv cs.AI)