语言模型知道什么样的科学证据具有说服力吗？

arXiv:2610.41015v1 公告类型：新提交 摘要：科学专家善于权衡来自多个来源的实证发现，这些发现在统计可靠性和认知相关性上各不相同。语言模型正日益成为自主发现系统的驱动力，那么它们在多大程度上具备这种证据审议能力？我们提出 EDB-Bio，这是一个科学推理基准，其数据精选自三个生物学领域的真实世界数据：药物扰动转录组学、CRISPR 筛选和人类全基因组关联研究（GWAS）。EDB-Bio 的 9.6 万个任务实例各自呈现一系列来自已发表研究的实验结果，并要求模型预测目标假设为真的概率。在开箱即用的状态下，开放权重模型和前沿模型均表现出系统性的置信度不足，其 Brier 分数与仅依据基础发生率进行预测的简单预测器相当。使用严格适当评分规则进行后训练，可显著改善校准度和区分能力。这种校准在下游任务中带来了收益：在序贯实验选择任务中，我们的 Ibis0 模型的效率是最佳前沿模型的 2.5 倍。在整个研究中，将证据权重量化为贝叶斯因子，揭示了模型如何随时间更新其信念、它们在相关性判断上是否与生物学专家一致，以及它们在哪些方面表现出不一致和偏差。我们的工作将校准训练和不确定性分析拓展至现实的科学预测场景，并应用于人类癌症生物学。我们公开了所有代码、数据和训练后的模型。