从训练数据追溯 LLM 的科学发现能力
Tracing the Scientific Discovery Capacity of LLMs to Their Training Data
精选理由
揭示训练数据中仅出现一次的事实如何提升大模型科学发现能力，为优化数据配比提供依据。
AI 摘要
大语言模型（LLM）在科学发现方面展现出日益增长的潜力，但关于什么因素使其能够可靠地开展科学发现，仍存在一些基本问题。我们如何从训练数据追溯 LLM 的科学发现能力？我们将这一问题视为缺失概率质量问题进行研究，并提出了一套理论解释：单次事实，即在训练期间仅出现一次的事实，决定了模型的发现能力。在材料科学和调控基因组学领域，我们直接调整训练集中单次事实的比例，发现无论采用哪种开放权重模型家族、采样策略或推理预算，更多的单次事实都能持续带来更多发现；这一结果在两个模型家族中均成立。进一步实验表明，这种关系不能仅用训练集的多样性来解释，而且在结合目标领域数据时，可以跨科学领域迁移。总体而言，我们的结果表明，训练数据中单次事实的比例是影响语言模型科学发现能力的关键因素。