JEPA-Bisim：利用联合嵌入预测世界模型学习用于规划的鲁棒视觉表征
JEPA-Bisim: Learning Robust Visual Representations for Planning with Joint-Embedding Predictive World Models
精选理由
提升视觉世界模型在干扰背景下的规划鲁棒性，并以更小潜空间降低计算负担
AI 摘要
arXiv:2602.18639v2 发布类型：替换 摘要：从高维视觉观测中学习的世界模型，使智能体能够直接在潜空间中进行决策和规划，从而避免像素级重建。然而，近期的潜在预测架构（JEPA），包括 DINO 世界模型（DINO-WM），由于对“慢特征”敏感，在测试时表现出鲁棒性下降。这些慢特征包括背景变化和干扰物等视觉变化，而它们与待解决的任务无关。为了解决这一局限性，我们在预测目标中加入了双模拟编码器，以强制实现与控制相关的状态等价性：将具有相似转移动态的状态映射到彼此相近的潜状态，同时限制慢特征的影响。我们在导航任务（PointMaze）和操作任务（PushT）上评估了模型，并测试了不同的测试时背景变化和视觉干扰物。在所有基准测试中，我们的模型都能持续提升对慢特征的鲁棒性，同时运行于更小的潜空间中，其规模最多比 DINO-WM 小 10 倍。此外，我们的模型不受预训练视觉编码器选择的影响，在与 DINOv2、SimDINOv2 和 iBOT 特征结合时仍能保持鲁棒性。