视觉语言模型是机器人动作生成中的联合去噪器

基于扩散的视觉语言动作（VLA）模型将预训练视觉语言模型（VLM）与扩散动作专家级联，但通常仅让 VLM 提供静态条件信息。这种分离限制了预训练感知与推理能力对动作生成的指导作用，在分布外场景中尤为如此。我们提出联合动作去噪器 JADE，使 VLM 与动作专家能够共同细化动作。我们的核心洞见是，结构化的动作潜在表示使 VLM 能够结合视觉观测和语言指令，读取当前的含噪动作。在每个去噪步骤中，VLM 将含噪动作置于上下文中理解，并通过门控交叉注意力引导动作专家，使其引导随正在生成的动作而动态变化。我们进一步监督 VLM 从含噪动作潜在表示中恢复干净的动作潜在表示，为其提供直接的动作学习信号，并将感知与控制耦合起来。此外，联合去噪使 JADE 能够以更少的采样步骤生成动作，有助于抵消 VLM 参与带来的额外开销。自适应步长调度进一步平衡了任务性能与推理延迟。在 RoboDojo 上，JADE 的平均成功率达到 12.67%，在所评估的基于 $π_{0.5}$ 的方法中最高，并且可与近期经过大规模预训练的 VLA 和 WAM 基础模型相媲美。它还提升了在 RoboTwin 2.0 上的性能，并且与 $π_{0.5}$ 相比，将四项真实世界双臂任务的平均成功率提高了 20.8 个百分点。