RubricAtlas：从专家报告中挖掘类型级评估量规以评估深度研究代理

深度研究代理会进行多步骤 Web 搜索，并将检索到的信息综合为分析报告。评估这些输出不仅需要检查其中是否包含相关事实，还需要检查它们完成了哪些分析。针对特定查询的二元评估量规能够明确个体要求，但任务级清单可能无法充分审视整体分析结构。我们提出 RubricAtlas，从同一研究类型中针对不同对象的专家报告里提炼类型级分析要求，并围绕反复出现的分析问题组织详细检查项。这些要求为相关任务规定共同的分析标准，但不预设其答案。我们的框架将二元检查点与报告段落关联起来，并将完整性与论证有效性分开评估。RubricAtlas 基于 3,079 份中文金融研究报告构建，覆盖 99 种研究类型。参考报告选择实验表明，单篇报告仅覆盖其所属类型约一半的分析问题，而从不同报告中选择要求会改变评估分数和代理排名。在十个代理上，两条评判流水线的检查点一致性达到 $κ$ = 0.71，代理排名一致性达到 Kendall $τ$ = 0.87。受控删除会降低受影响分析的得分，而填充内容不会带来可检测的提升。这些发现支持使用类型级评估量规比较 Web 深度研究输出的分析完整性，且个别判定均可追溯至报告证据。