视觉-语言智能体可以在自己的潜在世界中学习

从经验中学习对于构建能够持续拓展自身能力的新一代智能体至关重要。预训练视觉-语言模型（VLM）已经内化了丰富的世界知识，但这些知识很少被用于通过在线交互推动策略改进。要高效地实现这一潜力仍然充满挑战：策略更新会改变智能体的交互分布，要求世界模型随之进行适应；与此同时，持续更新大规模预训练模型的计算成本十分高昂。为应对这一挑战，我们提出了 Dwell，这是一种基于模型的强化学习（RL）框架，将 VLM 重新定义为循环潜在转移算子，使其能够在潜在空间中进行预测、调整与行动。借助 VLM 自身的表征，以及其同时作为世界模型和策略的双重角色，该智能体持续从真实交互中学习，以预判和评估行动结果，并通过潜在想象来改进自身行为。在五个交互式视觉环境中，Dwell 在可训练方法中取得了最强的总体性能，同时大幅降低了想象所需的计算量。这表明，面向 VLM 智能体的有效世界模型不必重建未来；它们只需预测对行动有用的未来。我们的代码已公开发布于 https://github.com/Tom111-lhx/Dwell