LeWAM：一种基于扩散引导式MPC的JEPA世界动作模型

世界动作模型（WAM）通常从基于重建的表征中预测动作和未来观测，而这种表征包含噪声和冗余信息，可能使下游预测变得复杂。我们提出LeWAM，这是一种双向Transformer，能够在通过四种模式进行端到端训练的无解码器JEPA潜变量上，实现前向动力学、后向动力学、逆动力学和策略预测。我们观察到以下优势：1）对齐：线性探针从LeWAM潜变量中读取机器人和物体状态的效果优于从常规Le World Model（仅进行前向预测的JEPA世界模型）中读取的效果；同时，该潜变量对视觉干扰因素的忽略程度与LeWM相当，且显著优于基于重建的WAM。2）执行：在闭环评估中，LeWAM的表现与使用相同编码器、规模匹配的常规流匹配策略相当，同时还能提供世界模型。3）规划：使用WAM进行规划时，对原始动作进行采样会使MPC利用动力学模型的不准确性；而在策略头的噪声空间中进行规划，则能改善这些WAM的闭环性能。