arXiv cs.AI精选76

MemBodied:视觉-语言-动作模型的循环关联记忆

MemBodied: Recurrent Associative Memory for Vision-Language-Action Models

· 20天前

精选理由

为机器人操作提供固定大小的情景记忆,显著提升历史依赖任务成功率并降低推理开销。

AI 摘要

视觉-语言-动作模型为通用机器人控制提供了坚实基础,但绝大多数策略不会保留并利用当前观测之外的回合级信息。这一局限性在依赖历史信息的操作任务中尤为突出,因为完成这些任务所需的信息只能从过去的观测中获取。将过去的观测保留在上下文中有助于恢复这些信息,但代价是上下文不断增长、变得臃肿,并导致推理延迟增加。因此,我们提出了 MemBodied——一种固定大小的情节记忆,由两个互补组件构成:记录策略调用间交互的关联状态,以及保留初始场景紧凑表示、用作参考的回合锚点。在每次策略调用时,模型根据当前输入和记忆组件生成动作,而不是直接使用过去的观测。在评估的五项需要记忆的 RMBench 任务中,MemBodied 的平均成功率达到无状态策略的 $7.81\times$ 和原生循环记忆的 $2.98\times$;与最强的记忆增强基线相比,在新增参数减少 $10\times$ 的情况下,其性能仍提高了 $1.3\times$。在完全可观测的 LIBERO-Long 基准套件上,其成功率达到 90.6%,比无状态的 $π_0$ 策略提高了 5.4%。这些发现表明,对于依赖历史信息的操作任务,MemBodied 是一种切实可行的替代方案,无需不断扩展策略上下文。

查看原文(arXiv cs.AI)