arXiv cs.AI精选82

LG-Bench:生命科学的图结构评测基准

LG-Bench: A Graph-Structured Evaluation Benchmark for Life Sciences

· 11小时前

精选理由

以图结构评测生命科学大模型,揭示知识盲点与概念一致性,助力精准改进。

AI 摘要

传统评测基准将生命科学中本质上相互关联的科学知识简化为平面化的问题列表,忽视了知识背后的拓扑结构。我们推出了首个面向生命科学的图结构评测基准,涵盖医学、生物学和化学领域的超过 10,000 道高质量选择题。我们通过双向匹配和语义相似度算法构建加权评测图,其中节点代表问题,边权重刻画问题之间的语义关系。借助这一图拓扑结构,我们设计了两项全新的评测指标。全局一致性得分(GCS)用于衡量模型在语义相关邻域中的一致性,而知识均衡得分(KBS)则分析模型错误在图中的分布,以揭示其概念盲区。LG-Bench 通过呈现不同模型在概念一致性和知识组织模式方面的差异,促进对大语言模型进行细粒度比较。我们的框架将评测范式从扁平化的准确率指标转向结构感知分析,为诊断和提升大语言模型在生命科学领域的性能提供了新的视角。

查看原文(arXiv cs.AI)