Game Arena：竞争环境中的战略性 LLM 评估

我们介绍 Kaggle Game Arena，这是一个开放且不断扩展的平台，用于通过竞技游戏评估大型语言模型（LLMs）。与静态基准不同，Game Arena 使模型能够在结构化环境中进行正面对局，随着模型演进，游戏实力会自然提升，从而避免性能饱和。本技术报告详细介绍了 Game Arena 背后的基础设施，并描述了三个试点游戏环境：Chess、Poker 和 Werewolf。这些环境涵盖完全信息、不完全信息和多人游戏设定，使得能够系统研究模型在不确定性下的战略规划、适应能力和鲁棒性。对于每个游戏，我们都提供了环境、评估指标以及跨模型完整竞赛运行结果的详细描述。通过稳健的基础设施和基于大规模真实数据的评估，Game Arena 确保了可复现性、透明度，以及随着时间推移对新游戏和变体的泛化能力。