利用语言模型先验从观测中学习 POMDP 世界模型

arXiv:2605.13740v2 公告类型：替换 摘要：无论是在建筑物内导航、操控机器人，还是玩游戏，要在环境中有效行动，智能体都必须先学习一个描述该环境运行方式的内部模型。部分可观测马尔可夫决策过程（POMDP）为此类内部世界模型提供了一种灵活的建模框架，但仅凭观测—动作轨迹来学习这些模型颇具挑战，通常需要与环境进行大量交互。我们探讨语言模型先验能否利用已有知识来减少代价高昂的交互，并提出 Pinductor（POMDP-inductor）：由大语言模型（LLM）根据少量观测—动作轨迹提出候选 POMDP 模型，再迭代改进这些模型，以优化基于信念状态的似然评分。尽管所依赖的信息严格更少，Pinductor 仍实现了与能够特权访问隐藏状态的基于 LLM 的 POMDP 学习方法相当的性能和样本效率。此外，在计算成本相当的情况下，其样本效率最高可达 DreamerV3 等标准 POMDP 基线方法的 330 倍。进一步的结果表明，性能随 LLM 能力的提升而提高，并在环境语义信息被逐步隐去时平缓下降。这些结果共同表明，语言模型先验是部分可观测条件下实现高样本效率世界模型学习的实用工具，也为构建真实世界环境中的通用智能体迈出了一步。代码：https://github.com/atomresearch/pinductor。