Transformer 中的世界建模

即使 Transformer 已经学会了对其环境的忠实表征，行为失败也可能使其看起来缺乏世界模型。我们在 TaxiGPT 中展示了这一点：TaxiGPT 是一个基于在曼哈顿进行的随机游走训练的 Transformer，其失败曾被解读为内部地图不连贯的证据。通过机制分析和因果干预，我们表明，该模型能够表征路口和街道、跟踪自身位置，并利用目标罗盘进行导航。我们将其失败追溯到叠加路口特征之间的干扰，这种干扰破坏了模型在内部地图中的定位。可供性打包将具有相同合法移动的路口表征分组，有助于限制这些错误的后果。最后，我们提出了机制性指标，用于比较不同模型，并展示世界建模能力会在训练的不同阶段出现。我们的研究结果促使我们不再停留于询问模型是否拥有世界模型，而是转向从机制层面研究其世界建模：也就是研究模型表征环境并利用这些表征指导行为的各种相互作用的能力。