再思考：通过世界模型中的比较想象进行探索与规划

arXiv:2610.28779v1 发布类型：新 摘要：世界模型使智能体能够在行动前比较想象中的结果，但智能体仍需决定探索哪些备选方案，以及何时应以提出的规划替代其学习到的策略。我们提出 SDI（想象中的同胞分歧），通过共享的 actor 基准将这两个决策联系起来。SDI 比较从同一模型状态出发想象的动作序列，并通过对 actor 自身序列进行重复 rollout，在行为固定的情况下衡量变化程度。该基准同时衡量候选回报之间的离散程度（提供探索信号）以及提出的规划的预测优势（决定是否接受该动作）。当规划的优势超过基准变异性的固定倍数时，智能体执行规划动作；否则遵循 actor。SDI 复用基础智能体的世界模型、actor 和 critic，无需额外的分歧集成模型。探索与规划用于指导训练数据收集，而评估仅使用学习得到的 actor。在 Meta-World、Adroit 和 DM-Control 上，SDI 在每个测试套件中的任务平均得分均高于所有对比基线，并在 18 个任务中的 15 个任务上达到或超过最强基线的表现。组件消融实验与鲁棒性分析进一步考察了探索、规划暴露度和动作接受机制各自的作用。基于相同模拟器状态的配对评估表明，相较于无门控规划，该门控机制既提升了从 actor 失误中恢复的能力，也更好地保留了成功行为，同时显著减少了回报下降。总体而言，这些结果支持将想象中的备选方案与共享的 actor 基准进行比较，作为利用世界模型进行探索与规划的统一方法。