掩码扩散语言模型是强大且可操控的基于文本的世界模型，适用于智能体强化学习

arXiv:2607.16204v2 发布类型：replace-cross 摘要：强化学习（RL）的近期发展凸显了对多样化、专门化训练环境的需求。随着模型性能提升，由人工精心设计且任务和奖励难度固定的环境所提供的训练信号会逐渐失效，而长时间跨度中的稀疏奖励则会导致模型在特定工作流或工具结构上发生模式坍缩。能够模拟环境状态的世界模型已经达到与纯 rollout 相当的性能，因此有望按需扩展环境多样性。然而，自回归（AR）世界模型存在从左到右的偏置，无法对工具模式、历史轮次和预期结果等全局相互依赖的状态锚点进行条件建模。我们：（i）将基于文本的世界建模形式化为一个可操控的转移动力学问题，将其分解为初始状态、任务上下文、工具模式、领域规则和操控指令；（ii）整理了涵盖九个开源环境和十二个前沿模型系列的239,403条有依据的状态—动作轨迹。我们比较了AR语言模型与掩码扩散语言模型（MDLM），结果表明，MDLM通过双向、锚点感知的去噪，在相近推理延迟下，实现了优于参数规模超过其4倍的LLM的连贯性、基于事实的可靠性和经实证验证的 rollout 多样性。我们提出了一个即插即用的GRPO训练框架，其中包含确定性的状态检查；并在三个分布外（OOD）环境（ScienceWorld、ALFWorld、AppWorld）和三个参数规模为1.2B至7B的智能体骨干模型（LFM2.5、Qwen3、Mistral）上开展零样本迁移消融实验，在无需针对环境进行微调的情况下，相较基线最高取得47%的绝对增益。我们还在对抗性场景下对失败模式进行了行为分析，并针对真实感、结果正确性和训练实用性开展了人工评估。我们将工作开源，以推动这一方向的研究。