训练一个富有想象力的智能体

在 Sokoban 中，一次看似合理的推动可能会使谜题无解。为避免这类错误，智能体必须在执行动作之前预判其后果，尤其是在真实环境反馈稀疏或动作不可逆的情况下。我们提出 Agentic Imagination（Agima），这是一种训练框架，旨在训练智能体先进行想象再采取行动，即培养其想象能力。Agima 训练一个单一的全能模型，使其能够提出动作、生成动作结果的图像，然后对这些想象中的未来进行推理，以决定在真实环境中执行什么。智能体不必局限于单一计划，而是可以模拟一系列动作、探索不同方案，并比较可能的未来。我们首先使用监督微调（SFT），在单一全能模型中统一策略建模和世界建模。这使智能体能够预测未来结果，并执行基本形式的想象，例如前瞻性思考和反事实分支。随后，我们使用智能体强化学习（RL），教会智能体利用想象中的未来进行推理，并有效地将其用于规划。在涵盖 Maze2D、Sokoban、Pacman 和 PushT 的四个环境中，Agima 能够泛化到训练期间未见过的更困难设置。仅在双箱 Sokoban 上通过 SFT 训练后，即使每五步才观察一次真实棋盘，Agima 也能解决 40% 的四箱谜题；相比之下，仅基于动作的规划器只能解决 2%。经过 RL 训练后，Agima 使用想象能力的方式出现了新的行为：它学会了一种在 SFT 阶段未曾见过的统一格式，学会仅在必要时进行前瞻性思考，并在关键决策点更频繁地进行分支。能够想象自己的行动将通向何处的智能体，可以学会何时以及在哪里进行预判，也就是学会规划。项目页面：https://agima.net/。