SpireBench：使用 Slay the Spire 评估智能体模型的长程策略对局能力

arXiv:2610.12596v1 公告类型：交叉收录 摘要：智能体大语言模型如今已能处理复杂任务，但对其长程策略推理能力的研究仍显不足：大多数智能体基准测试流程较短，且以独立回合为单位，而模型在长程任务中的表现又难以拆解为已有知识、推理能力与运气各自的贡献。我们提出 SpireBench，让模型游玩完整的商业牌组构筑游戏 Slay the Spire（StS）；在该游戏中，早期决策决定了长期成败。我们在游戏最高难度下测试了 20 个大语言模型（LLM），发现前沿模型超越了启发式基线，并达到了普通人类玩家的平均水平，但仍远逊于专家玩家。随着单局进程推进，这一差距进一步扩大：最强模型通过第一幕的频率与专家相当，随后却逐渐落后。强弱模型之间的区别在于每场战斗中的表现；所有模型都会误判整局游戏中的风险，倾向于保留生命值，而不是消耗生命值来增强实力。对所有游戏术语进行全面且内部一致的重命名后，我们发现，模型的表现部分依赖于对游戏的先验知识；此外，模型也未能从自己在多局游戏中记录的记忆中获得提升，这些记忆往往有误且过于谨慎。我们的测试框架首次向模型提供了完整的原版游戏，并与现有框架进行了比较。总体而言，SpireBench 提供了一个尚未达到性能饱和的长程基准，并配备了用于定位智能体失败环节及原因的工具。