构建，而非对弈：自我改进的 LLM 研究智能体开发出媲美顶尖玩家的 Hearthstone Battlegrounds AI

LLM 智能体能否从原始数据出发，攻克现实世界中的高难度问题，构建出足以与人类抗衡的系统？我们在 Hearthstone Battlegrounds 中研究了这一问题。这是一款八人自动战斗游戏，具有随机商店与战斗、隐藏信息，以及近千张相互作用的卡牌。我们提出了 AutoTavern，一个能够自我改进的研究系统：专业化的 LLM 研究智能体共享带有类型信息的研究记忆，每项论断都须通过验证关卡，并通过线上对局形成闭环，使智能体能够改进模拟器、对手和策略，同时利用同样的反馈改进自身的研究流程；人类则负责设定目标，并对含糊不清的机制做出裁定。在 20 天内，AutoTavern 构建了 TavernGym，首次忠实复现了线上游戏的全部内容，并产出了 23 个版本的 TavernAgent，使用 PPO 与根据真实对局校准的对手进行训练。TavernAgent 能够独立在线上天梯中完成整场对局：其评分从 6,000 上升至约 15,000；按公开排行榜的统计口径，其最近 20 场记录的平均名次为 1.60，夺冠率为 80%，各项统计数据均优于服务器评分最高的十名玩家（平均名次 2.34，夺冠率 59%）。TavernBench 包含 40 个场景中的 960 项任务，其结果表明，智能体构建的系统才是最强的玩家：TavernAgent 在对弈任务中的正确率为 91%，而前沿 LLM 最高仅为 63%；TavernAgent 仅需 0.03 秒即可做出决策，而这些 LLM 最长需要 26 秒；在实战回合允许的一秒时限内，TavernAgent 仍保持 90% 的正确率，而所有 LLM 均不超过 26%。LLM 智能体构建系统的能力远胜于其对弈能力。我们将在 https://github.com/MCG-NJU/AutoTavern 开源 TavernBench 和 TavernGym。