罗马不是一回合建成的：面向长时程 Freeciv 智能体的基于重放的奖励信号

训练语言模型智能体玩长时程策略游戏十分困难，因为确定性反馈稀疏，而且往往直到游戏结束才会出现。游戏内得分可以提供密集信号，但无法可靠地预测未来结果：在八款策略游戏中，8%–68% 的局面对里，得分较高的局面反而会导向更差的结果。我们将这一现象称为“计分板陷阱”。Freeciv 是一款开源的回合制帝国建设游戏，多名玩家需要在数百个回合中管理单位、城市和外交事务；我们以此为平台，探索更好的游戏智能体奖励信号。为此，我们构建了 CivHarness，这是一个开放系统，能够保存当前游戏状态、根据不同决策创建分支，并从保存的局面出发重放游戏至未来回合，从而提供可量化的长时程反馈。我们使用 CivHarness 训练了 CivTelescope，这是一个大语言模型评判器，用于预测两个游戏局面中哪一个会产生更好的结果。在存在计分板陷阱的局面对上，CivTelescope 的准确率是现成语言模型的 1.3–2.0 倍，而且能够泛化到新的游戏开局、更晚的回合以及未见过的规则。随后，我们将 CivTelescope 用作密集奖励来训练 Freeciv 游戏智能体，并将这一训练方案称为 CivMarshmallow。在计分板陷阱常见的游戏中期使用时，CivMarshmallow 在训练阶段的平均得分增益达到 8.94 分，比最佳基线——游戏结束奖励——高出 77%。在完整的 120 回合游戏中，CivMarshmallow 使用混合奖励，起初采用计分板奖励或游戏结束奖励，随着游戏推进再转向 CivTelescope；在我们比较的各类奖励中，这种混合奖励取得了最高得分。