SciDocBench: 面向工作流的科学文档理解基准与数据管线

科学论文要求模型联合推理文本、公式、图表、代码和数据集，同时保留支撑证据的来源。现有基准通常将这些能力分开评测，因此无法明确多模态模型是否能够支持真实的科学阅读工作流。我们提出 SciDocBench，一个面向工作流的科学文档理解基准。它包含124个由专家撰写并经过难度筛选的问题，组织为五个科学领域中的七组研究助理能力组和19个子任务。每个问题在四种匹配条件下实例化，将英文或中文问题与全图优先或交错式文档表示相结合，形成496个评测实例，用于受控分析。表现最强的被评测系统仅达到62.6/100，在文档感知、证据锚定、核验和跨文档推理方面存在明显弱点。为将这些诊断结果转化为可扩展的训练信号，我们提出 SciDocIR，这是一种带类型的证据图表示，可保留科学文档对象、版面和交叉引用关系以及来源信息。基于 SciDocIR，我们构建了 SciDocDataset，包含约15K个监督微调样本和8K个强化学习样本，覆盖14个可验证子任务。SciDocBench、SciDocIR 和 SciDocDataset 共同构成了一个从评测到训练的框架，用于诊断和改进科学文档助手。项目页面见 https://github.com/InternLM/SciDocBench。