事件，而非像素：世界模型在哪里错误估计回报

世界模型正越来越多地用于规划，在这一过程中，规划器根据模型想象出的回报对候选动作进行排序。然而，人们主要依据这些模型渲染帧的效果来评估它们，尽管视觉上忠实的推演仍可能赋予错误的回报。为找出这种不匹配产生的位置，我们提出了一种转移级诊断方法：用真实转移替换想象转移，并在与预算相匹配的随机对照下，测量回报误差的减少量。我们的分析得到两项发现。(1) 事件转移，即获得奖励或回合结束时所涉及的少数步骤，其渲染效果与其他步骤一样好（像素误差比的中位数为 0.85），但恢复这些转移可以消除回报误差中位数的 70%。相比之下，恢复具有最大 MSE、SSIM 或 LPIPS 误差的转移，其消除的误差还不如随机选择。在通过可靠性检查的 44 个 Atari-100k 模型--集合对中（包括三个已发布的模型系列），事件补丁在其中 39 个中优于随机补丁（符号检验 p=1.4 x 10^{-7}），中位数增益为 +44 个百分点。(2) 剩余误差具有结构性：一种互补补丁可以区分真实事件处的误差与其他位置的误差，而八步的时间容差只能找回少量被我们的确定性模型漏掉的事件。这种结构还可以指导修复：在已知四种修复结果之前记录的一条规则，能够预测扩散模型何时会修复这些失败。事件补丁能够改善规划排序，并且在具有稀有奖励事件的控制任务中也出现了同样的误差集中现象。