AI 智能体能否凭学习登顶？评估长期运行的游戏智能体竞赛中的启发式学习

对抗性游戏推动了从启发式搜索到强化学习的发展，但从有限样本中学习并适应策略仍然充满挑战。AI 智能体提供了另一种途径：将游戏经验转化为对可执行策略的修订。在启发式学习（HL）的基础上，我们形式化提出对抗性启发式学习（AHL）这一范式：在保持模型权重不变的同时，利用 AI 智能体作为学习引擎，改进游戏策略及其配套软件。我们推出 AAArena，这是一个包含 12 款真实对抗性游戏和 1,920 个存档人类程序的基准，其评估协议仿照现实世界的游戏竞赛。智能体需要理解规则、选择对手、分析比赛回放，并修改游戏智能体，以便在固定的对局和评估预算内取得最高排名。我们评估了 \val{completedmodels} 个模型与工具链配置：Opus5.5 搭配 Claude Code 赢得了 6 枚金牌，而在其余 6 个人类排行榜中，没有任何受评估配置能够登顶。总体而言，在规则描述更复杂的游戏中，性能通常较弱。进一步实验表明，对手选择和密集反馈有助于策略改进；智能体既能从自身比赛的同策略回放中学习，也能从其他玩家比赛的异策略回放中学习。这些结果凸显了 HL 在对抗性游戏中的潜力，并揭示了游戏理解、策略实现以及长周期策略开发方面持续存在的挑战。