单步预测保真度难以有效衡量 JEPA 世界模型的规划性能

arXiv:2610.19375v1 公告类型：新稿 摘要：潜在世界模型通常依据单步预测损失进行模型选择、检查点保存和消融分析，其前提是假设下一步潜在表示预测得越好的模型就是越好的模型。在基于模型的强化学习中，这一假设已被证实并不可靠；我们探究它是否同样不适用于潜在世界模型，因为此类模型的训练目标是模型自身的嵌入表示，且损失并非以可解释的单位表达。我们提出了一种冻结解码器的评估方案，以物理单位报告单步误差，并将其分解为编码器表示中已存在的部分和预测器新增的部分。我们将该方案应用于一个近期提出的端到端 JEPA 世界模型，在三个连续控制环境中通过微调改变该指标，并在相同检查点上评估以目标为条件的规划性能，全程使用三个训练随机种子和配对的规划随机种子。在其中一个环境中，逐轮训练的阶梯式评估表明，两者的关系在仅一个训练轮次后便趋于饱和：第一轮使保真度提升了 32%，规划成功率提高了 4.4 个百分点，但在随后的十五个检查点中，尽管保真度又提升了 15%，且在每个训练随机种子下均呈单调改善，单步误差与规划成功率之间的相关系数却为 r = -0.010。这并非任务性能触顶造成的假象：使用独立于模型的训练数据支持度指标进行分层后，支持度最低层的规划成功率初始为 80%，仍有充足的提升空间，但从第 1 轮起依然保持平坦。跨环境的指标转换关系同样不稳定：在 TwoRoom 上，保真度降低 93% 对应规划成功率下降 0.7 个百分点，而在 PushT 上，降低 40% 则对应规划成功率提高 4.9 个百分点 [+1.1, +8.9]。所有结果均在不依赖解码器的指标——潜在表示漂移——下得到复现。我们还表明，设置匹配的继续训练对照后，此前归因于辅助目标的全部保真度增益都可由继续训练解释。