奖励可观测性与 RSSM 世界模型中离线检查点选择的局限性

arXiv:2607.01736v3 公告类型：替换 摘要：我们研究了在 Gymnasium 的 LunarLander-v3 中使用人类演示训练的循环状态空间模型（RSSM）世界模型的闭环特性。我们使用训练好的世界模型进行零样本 CEM 模型预测控制（MPC），并在想象环境中进行演员-评论家（A2C）训练。在 100 个留出的回合上进行评测后，所选的基于模型的 A2C 策略（在世界模型检查点 280 上训练）达到了 +189.5 的平均回报，与表现最佳的无模型 A2C 检查点（+183.7；回合上限分别为 600 步和 1000 步）相当，而实际训练交互次数减少了约 65 倍。我们还将世界模型 MPC 与基于成功演示训练的行为克隆（BC）策略进行了比较。只有在随机动作选择下，BC 策略的平均回报才与 MPC 相当；在相同的 20 个回合中，BC 策略出现了 1 个灾难性回合，而 MPC 没有。随后，我们引入奖励可观测性比例（Reward Observability Fraction，ROF）：它表示在线性化潜在动力学的可观测子空间中，奖励梯度的欧几里得比例。我们证明，接下来的 H 个观测包含关于该子空间中每个方向的 Fisher 信息，而不包含关于与该子空间正交方向的信息。然而，ROF 本身取决于潜变量的缩放方式：重新缩放潜变量会改变 ROF，却不会改变模型，因此不同模型之间的原始 ROF 水平不可比较。将奖励头强制连接到经过后验校正的潜变量 z 上会提高 ROF，并且在我们测试的两组运行上，这一提升通过了坐标不变性检验。最后，我们检验 ROF 或其他离线指标能否预测 MPC 的闭环崩溃。即使数据和配置完全相同，不同训练运行之间也会出现不同程度的崩溃。ROF 无法预测崩溃；我们筛选的 108 个离线汇总指标均未通过置换检验，最佳候选指标在新的运行上也会失效。仅凭模型和记录数据从离线结果预测崩溃仍是一个开放问题。