当画面中只有少量内容移动时，保持 JEPA 世界模型的可规划性

用语言而非目标帧来指定目标，是使用潜在世界模型进行规划时一种自然的交互方式，但要进行测试，就需要语言必须在多个物体之间进行区分的场景。我们构建了 SLIM，这是一个包含多个小物体、并在相同场景上配对设置视觉目标和语言目标的推动基准。在 SLIM 上，一个能够解决 PushT 的 LeWM 世界模型在不足 1% 的试验中成功，尽管使用模拟器状态的脚本控制器可以解决所有难度等级。探针分析将失败定位到了编码器：其潜变量几乎不受动作影响，既无法从中解码出推动器位置，也无法解码出物体位置；其滚动预测也并不优于将当前潜变量直接向前复制。我们加入一个逆动力学辅助损失，将其应用于编码器潜变量和预测潜变量，并通过一个测试时丢弃的共享头进行计算；这一方法恢复了所有探针上的表现，并将成功率从 0.003 提升至 0.35（在困难推动等级上达到 0.16，而不依赖目标的策略得分为零），同时使 PushT 在两倍于训练时的预测时域上也得到改进。控制实验表明，修复效果源于传入编码器的梯度；响应扫描则显示，只要画面中有足够多的内容对动作作出响应，原始模型就能进行规划。一个无需访问环境即可计算的廉价动作敏感性探针，构成了一个经验上的必要条件：所有低于其阈值的配置都无法进行规划。在修复后的潜空间上，一个小型语言目标头无需重新训练世界模型，就能根据句子进行规划：它在导航任务上达到 0.84（视觉目标 oracle 为 1.00）；当指定区域被替换为干扰区域时，它仍能跟随语言指明的区域；面对未见过的名词时，性能也能平稳下降。单个目标句子很少能完成一次推动，但如果将推动过程表示为一系列阶段句子，该语言目标头可将中等和困难推动等级上的成功率从 0.04 提升至 0.25，与目标帧 oracle 相当；即使阶段之间的切换仅根据潜变量来判断，也同样如此。