表征几何对于使用 JEPA 世界模型进行规划至关重要

arXiv:2608.16287v3 公告类型：替换 摘要：联合嵌入预测世界模型通过潜在空间中的预测支持规划，但不受约束的联合训练可能会将不同的观测坍缩为相同的嵌入。避免坍缩的两种主要策略是沿用预训练特征，如 DINO-WM，或通过抗坍缩正则化端到端地学习表征，如 LeWorldModel（LeWM）。然而，避免坍缩并不能确保潜在空间中的距离能够以对任务有意义的方式区分不同结果。例如，在物体操控中，成功与否取决于物体相对于目标的位置和朝向。这类与任务相关的状态信息可能仍可被准确解码，却几乎不影响潜在空间中的距离。因此，由此得到的规划代价可能无法反映预测结果与任务目标的接近程度。本文提出 SCALE（State-CAlibrated Latent Embeddings），一种使采样得到的成对潜在距离与任务相关状态空间中的距离建立相关性的方法。将 SCALE 加入 LeWM 现有的目标函数后，其架构保持不变，仅在训练期间需要特权状态信息，且不会增加规划时的计算量。我们表明，在操控和导航任务中，使用多种求解器时，SCALE 均能提高相较于 LeWM 的规划成功率，并全面分析了 SCALE 如何重塑表征几何以支持规划。