CausalDreamer：通过潜在解耦学习预测性世界模型

arXiv:2610.12016v1 公告类型：新 摘要：用于控制的世界模型必须捕捉环境中哪些方面会响应智能体的动作，以及哪些方面与奖励相关。Dreamer 4 等生成式世界模型由视频标记器和动力学模型组成：视频标记器将每一帧编码为一个潜变量，动力学模型则经过预训练，根据过去的潜变量和动作预测未来的潜变量。然而，标记器采用重建目标进行训练，没有动作或奖励监督，因此其潜变量没有明确的机制来区分可控、不可控、与奖励相关以及与奖励无关的信息。我们提出 \textit{CausalDreamer}，在冻结标记器的同时，将其潜变量重新编码为由两条轴上的四组信息构成的因子化表示：一条轴是可控性，只有其中两个可控组接收动作信息；另一条轴是奖励相关性，通过根据两个与奖励相关的组预测奖励来学习。随后，我们对预训练的动力学模型进行微调，使其预测该因子化表示。我们在 20 个 MMBench2 任务上使用基于模型的预测规划，对 \textit{CausalDreamer} 及其所基于的预训练世界模型进行评估：其中 10 个是训练期间见过的干净任务，另外 10 个是未见任务；未见任务中有 6 个是干净任务的变体，改变了背景、物体或迷宫布局，另有 4 个是全新的环境。我们对回报进行归一化，使采取均匀随机动作的策略得分为 0，专家得分为 1。在干净任务上，\textit{CausalDreamer} 的归一化得分比预训练世界模型高 14%（0.199 对 0.175）；在变体任务上高 25%（0.307 对 0.246）。然而，在新环境中，两个模型的得分均未明显高于随机策略。此外，我们的分析表明，该因子化表示能够将与奖励无关的变化（例如背景变化）与其奖励相关组区分开来。