MA-Bench：衡量语言模型的作战规划能力

arXiv:2610.19138v1 公告类型：新论文 摘要：在不存在唯一正确答案的情况下，语言模型能在多大程度上将大量不完整且部分相互矛盾的文档转化为计划？我们提出 Mission Analysis (MA)-Bench，其基于任务分析构建。任务分析是军事作战规划的第一步，在这一阶段，参谋团队会在任何人提出解决方案之前，通读全部态势资料并明确问题。该基准包含 10 个由专家构建的场景，每个场景配有一组包含 10 至 12 份文档的合成资料包，并共计配有 1,257 条由专家编写的通过／不通过判定要求，每条要求均包含其来源、问题类型和重要性等级信息。一个推理模型评判器在不查看文档的情况下，依据这些要求对每份简报进行评分；其评分表现如同第五位具备资质的规划人员，加入后，原有四人规划专家组的一致性基本不变（Fleiss $\kappa$ 从 0.42 变为 0.41），而来自另一家提供商的评判器也复现了模型排名（Spearman 相关系数为 0.94）。在二十个前沿模型和开放权重模型中，表现最好的模型也仅正确完成了 62% 的评分条目。模型在处理文档中明确陈述的事实方面表现最强（58%），在作出必须通过推断得出的判断方面表现最弱（33%），且每十次未通过中有六次源于遗漏，而非错误。MA-Bench 评估的是研判结论，而非行文质量。我们发布了资料包、评分标准、提示词、评分器，以及每份已评分简报及其逐项判定结果。