arXiv cs.AI精选74

超越动作:为视觉-语言-动作模型学习未来操作目标

Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models

· 4天前

精选理由

让机器人预测动作将实现的物理效果,提升灵巧操作与双臂协同任务的成功率。

AI 摘要

动作规定了机器人应执行什么,却未描述这些指令将实现什么。然而,视觉-语言-动作(VLA)策略的学习仍主要依靠根据图像、语言和状态预测动作块。我们提出 Action--Future Coupled Effect Learning(AFCE),将以未来为依据的物理效应作为策略的主要预测目标。离线分词器根据演示动作、机器人实际响应以及稀疏的视觉变化,构建按时间排序的效应词元。重建目标促使该表征保留可执行的细节和观测到的物理变化。基于流匹配的 VLA 根据当前图像、指令和机器人状态预测效应,而以状态为条件的解码器则将其转换为动作块。针对不同机器人形态的专用接口,使单臂和双臂任务能够共享效应模型。在 DexJoCo 上,AFCE 的总体成功率达到 $50.97\%$,分别比 $π_{0.5}$ 和 UVT 提高了 11.82 和 15.21 个百分点。它在全部五项双手任务中均处于领先地位,凸显了效应监督对于协调灵巧操作的价值。项目页面位于 https://afceproject.github.io/AFCE-Web/。

查看原文(arXiv cs.AI)