超越预测：利用 Retrospective World Modeling 引导 VLM 智能体

为 VLM 智能体配备世界建模能力已展现出处理复杂推理和长时程规划的巨大潜力，同时还能降低策略学习对高成本真实世界交互的依赖。现有方法主要依赖前瞻性模拟来预测候选动作的后果。然而，这种仅面向未来的范式关注接下来会发生什么，却很少对验证某个动作是否与观测到的状态转移具有因果一致性提供约束，从而可能导致表面上合理但在物理上不连贯的行为。在本文中，我们对将世界建模仅视为前瞻性预测这一观点提出质疑，并引入 Retrospective World Modeling，一种新的智能体学习范式。该范式通过估计最有可能导致给定状态转移的动作的回溯归因分布 $P(\hat{a}{t}|s_t, s{t+1})$，使智能体能够进行反向推理。基于这一能力，我们提出 Self-Consistency Reward（SCR），这是一种内在信号，用于衡量策略动作与回溯解释之间的概率一致性。将 SCR 融入强化学习后，可以提供密集的状态转移级反馈，引导智能体形成既能有效完成任务、又符合物理规律的行为。在多种智能体任务上的大量实验表明，与仅采用前瞻性世界建模的基线方法相比，我们的方法显著提升了策略的鲁棒性和泛化能力。