PhantomEnvironments：在虚构世界中训练 LLM 智能体

使用强化学习（RL）训练 LLM 智能体受环境所限：环境必须提供可验证的奖励、支持长时程交互，并能够以低成本扩展。现有方法依赖昂贵的人工整理数据，或依赖由 LLM 生成的环境，而后者存在幻觉和基准测试污染的风险。我们表明，通过完全由规则生成的合成环境，可以将 LLM 训练成能力出色的搜索智能体；这类环境的生成无需 LLM，且边际成本为零。我们构建了 PhantomEnvironments——来自虚构世界的多轮 RL 环境，智能体必须搜索由模板生成的文章语料库，以回答多跳问题。尽管这些环境与现实世界没有任何事实上的交集，但这种异常简单的环境仍能训练出可迁移到现实世界多跳搜索基准测试的智能体，并且在较新的基准测试上，其表现往往优于使用现实世界训练数据训练的智能体。经过训练的智能体能够泛化到未见过的虚构宇宙；Qwen 模型还学会了使其搜索预算大致随问题难度线性扩展，这表明仅通过与环境交互就可能涌现出搜索扩展能力。对环境复杂度进行消融实验显示，跳数对迁移的影响大于约束或比较：即使是最简单的规则生成环境，也是一种出人意料地有效且免费的资源，可用于训练具有泛化能力的 LLM 智能体。