CivBench：面向《文明 VI》中工具介导智能体的长时程基准

我们提出 CivBench，这是一个开源基准，用于通过 Model Context Protocol (MCP) 评估长时程、工具介导环境中的语言模型智能体。单个回合跨越 300+ 个回合，并在大动作空间上产生数千次工具调用，要求在部分可观测性下持续进行规划、状态监控和执行。该环境暴露了 76 个 MCP 工具，以及一层叙述模块，可将视觉游戏状态转换为结构化文本。 我们使用 CivBench 在 23 次有效运行中，刻画四个模型家族的智能体行为。该样本是试点研究，不是模型排名：在这一规模下，总体结果并不能可靠地区分不同模型。相反，我们提出了两个环境使其可测的接口层指标：Proactive Monitoring Rate (PMR)，用于衡量智能体是否主动查询潜在的战略状态；以及 RAG@10，用于衡量结构化规划反思中陈述的承诺是否会在随后十回合内执行。 在共享 playbook 协议下，我们在多次运行中观察到两个一致模式。智能体对可用但需要显式查询的、与战略相关的状态监控不足：尽管 playbook 建议每 20 回合查询一次胜利进度，它们实际只会每 30 到 75 回合查询一次；并且在 20 场可检测到的失败中，有 7 场它们未能在游戏结束前的 20 回合警示窗口内进行查询。智能体也经常未能执行自己规划反思中陈述的近期承诺（不同模型的 RAG@10 在 48.2% 到 65.8% 之间）。这两种模式都出现在具备工具访问权限和明确指导的情况下，我们将其解读为在指令下的偏差，而非能力缺失。 我们在 https://github.com/lmwilki/civ6-mcp 发布环境、场景、日志、指标和分析流水线