AD-WM：用于反事实模型预测控制的动作判别世界模型

潜在世界模型通常经过训练以预测事实转移，而模型预测控制（MPC）必须比较同一状态下的备选动作。因此，模型即使能够实现较低的事实预测误差，也可能无法很好地区分候选动作。我们提出 AD-WM，一种用于反事实 MPC、具有动作判别能力的联合嵌入世界模型。AD-WM 将残差潜在动力学与预测器级动作恢复正则化相结合，并采用逆动力学和受条件互信息启发的归一化恢复目标。这两个目标都促使规划转移保留动作信息；其辅助头在测试时会被丢弃，因此不会改变 MPC。在 OGBench-Cube 上，相较于匹配的 LeWM 基线，AD-WM 将困难初始状态下的成功率从 3.7% 提升至 52.0%，并且在五个仿真环境中的四个环境里，相较于复现的基线提高了平均成功率。规划诊断表明，事实预测误差和整个候选库的动作排序并不遵循闭环成功率的排序，而与 CEM 对齐的精英遗憾与成功率的相关性更高。在冻结 V-JEPA 2 编码器并进行匹配的 DROID 后训练后，AD-WM 还改善了向我们的 Franka 设置进行零样本迁移的效果，在没有针对实验室环境进行适配的情况下，将基础抓取与放置成功率从 42.2% 提升至 71.1%。这些结果表明，用于规划的世界模型应当保留反事实选择所需的、依赖于动作的差异，而不应仅仅优化事实预测准确率。更多视频和代码请见 https://ad-wm.github.io/。