基于本体、经推理器验证的科学 AI 中 LLM 推理评测基准

arXiv:2610.00682v1 公告类型：cross 摘要：大型语言模型（LLM）日益成为科学 AI 应用的基础，这些应用需要在结构化知识上进行推理，涵盖从生物医学问答到材料信息学等领域。然而，它们的逻辑推理能力往往不足，会产生在这些场景中无法接受的事实错误。可靠的评测仍然面临挑战：人工构建数据集难以扩展，而基于 LLM 的生成则可能将其试图测量的缺陷本身嵌入数据中。高质量基准必须将正确和错误的标注示例都建立在明确的背景知识之上，并能够由标准推理器进行形式化验证。我们提出了一条流水线，可从任意公理化程度足够高的 OWL 2 本体中自动生成基于本体的多项选择题（MCQ）基准，其中正确答案在设计上即由本体提供依据。干扰项通过扰动类定义公理右侧的类表达式生成，并由 OWL 推理器通过蕴含检查对其错误性进行形式化验证。我们在三个本体上评估了该流水线：Pizza（小型、学术型）、PMDco（复杂、材料科学领域）和 DOID（大型、生物医学领域），分别生成了 112、2,491 和 15,216 道 MCQ。干扰项涵盖从类不可满足性到弱化的从属关系在内的四种语义类别，从而能够针对特定推理失败进行诊断性评估。题目符合自然语言质量标准：LLM 评审者给出的平均分分别为 5 分制中的 4.02、4.36 和 3.36，证实了题目的流畅性；正确答案与干扰项之间超过 0.8 的相似度表明，错误选项无法仅凭表面形式被排除。六个 LLM 在零样本条件下进行评估，准确率达到 41.1%–76.8%，显著高于 25% 的随机猜测基线，表明这些基准具有挑战性和良好的区分度。这项工作朝着构建更可靠的科学 AI 逻辑推理评测基准迈出了一步。