在梦境中学习，在现实中获胜：面向十英雄 MOBA 的连续 Dyna 循环

世界模型通常从内部进行评判：看预测损失、策略在想象中获得的回报，或生成画面的逼真程度。我们则从外部进行评判。我们学习了一个结构化的多智能体完整十英雄 MOBA 世界模型（206 个单位、每个英雄每个 tick 都会行动、单局游戏最多 6,000 个 tick），仅在其中训练策略，通过 1,400 个 tick 的自由运行想象回合进行训练，并在真实游戏中让该策略对战游戏自带的对手，以此进行测量。真实游戏从不提供梯度；它提供的是该策略自身对局生成的世界模型训练数据，以及用于筛选并锚定策略的在线评估。将这一过程作为连续异步 Dyna 循环运行后，该策略作为天辉在真实对局中的胜率达到 70.2%（600 局中获胜 421 局；95% CI 为 66.4–73.7），测试所用随机种子从未用于任何决策；相比之下，仅进行梦境训练时胜率为 0%，循环开始前为 33.7%。作为夜魇时，该策略一局未胜；游戏自带的对手与自身对战时也一局未胜。四项发现解释了这一结果。模型利用在梦境内部是不可见的：每次未锚定运行都会在几次更新内崩溃，而没有任何梦境内指标跟踪到这种崩溃。在训练语料上准确的世界模型，在该策略自身的对局上却严重失真；Dyna 在这些对局上修复了模型，在策略配方保持不变的情况下，使真实胜率提高了 9.2 个百分点。最后，策略逐项继承了其世界模型的保真度特征：该模型能够表示宏观游戏过程，却无法准确表示群体控制、施法时机或致死性；策略通过全地图施压取胜，几乎不进行协同作战。我们发布了世界模型、dream-PPO harness、世界模型调试器、评估协议，以及每个策略和所有日志。