ChartBmkAgent：由控制框架监管的多智能体图表问答基准构建——基于稀疏错误分类规范

多模态大语言模型（MLLM）正在快速发展，而传统基准开发却相对滞后，导致对新近发现的能力缺口展开研究的进程被延误。此类研究需要具备表现力的任务格式和按需构建流程：信息丰富的图表使图表问答（Chart QA）适合用于探测感知与推理的耦合能力。自动化 Chart QA 构建旨在将已识别的能力缺口按需转化为针对性样本，从而缩短基准开发周期。然而，当前方法通常将目标引导与从零生成分开处理：目标引导系统往往需要准备好的数据、图表或模板，而从零生成系统主要确保产物有效，却没有明确控制新合成的要求与内容是否仍与外部指定的诊断目标保持一致。我们提出 ChartBmkAgent，通过基于稀疏错误分类规范构建完整的 Chart QA 样本，将已识别的能力缺口转化为针对性的诊断证据。在整个构建过程中，一个中央控制框架负责监管专用智能体，要求各阶段提供与原始错误类别保持一致的证据，并记录每项接收决策的依据。在覆盖整个分类体系的300个样本上，MLLM 的准确率介于32.7%和84.3%之间，并呈现出不同的类别特征，表明生成的样本能够揭示能力差异。在三组源模型比较中，针对性后续测试的得分为50.0%，而匹配对照组为82.2%（$p=8.96\times10^{-6}$）；六组跨模型比较均呈现相同方向，证明了针对性验证和诊断数据生成的有效性。多个评估模型对每个样本是否测试了其指定的错误类别进行了评估；其中86.4%的样本符合这一标准，为目标保持性提供了实证证据。