带着意图行动:为视觉-语言-动作模型蒸馏行为意图
Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models
精选理由
帮助理解如何让VLA更准确执行人类意图
AI 摘要
Vision-Language-Action (VLA) 模型可以将多模态上下文转化为机器人动作,但其动作解码器仍主要通过行为克隆进行训练。这种方式监督的是演示了哪个电机指令,却将该行为在指令下所服务的局部目标隐含起来。基于未来的监督通过帧、潜在观测、轨迹或运动表示来丰富动作学习,但这些信号捕捉的是可能发生之事的特定实现,而不是即将发生的行为所共享的语义目标。我们提出 Intention Distillation (INDI),将行为层面的意图蒸馏到动作解码器中。在训练期间,一个冻结的教师 VLM 会根据当前观测、指令、粗粒度动作摘要以及对应的执行视频来解释一个演示片段。部署后的 VLA 从其标准输入中,在一个中间解码器层恢复所得的多模态意图表示,并利用它结合行为如何展开及其达成内容的表示来组织动作预测。在 SimplerEnv-Bridge 上,INDI 将 GR00T-N1.7 从 64.3% 提升到 84.7%;在 RoboCasa Kitchen 上,它将受控的 GR00T-N1.7 基线从 64.1% 提升到 70.3%,并且在两个基准上均使 $π_{0.5}$ 获得一致提升。在真实世界任务中,INDI 将平均成功率从 62.0% 提升到 68.7%,在更长时域任务上提升最高达 12.0 个百分点。进一步分析表明,恢复出的潜变量被解码器使用,捕捉行为目标和执行进度,并以依赖目标的方式组织下游预测。这些结果表明,动作解码器受益于显式建模其所生成行为的语义目标。