学习如何构思具有科学影响力的创意

科学构思日益受到大型语言模型的中介影响，但当前的构思系统通常基于新颖性、清晰度和可行性等能够即时评判的代理指标进行训练和评估。因此，一个尚未解决的问题是：能否将科学成果被采纳的延迟信号用作反馈，引导模型朝向预期\emph{影响力}更高的研究方向。我们使用经过引用数标准化的影响力作为学术成果被采纳程度的一种嘈杂但可扩展的代理指标，研究了这一问题。我们从超过 10 万篇计算机科学论文中构建大规模数据集，提取以目标为条件的创意描述，并为每篇论文分配一个按年份标准化的序数引用标签。随后，我们训练一个以目标为条件的奖励模型，根据研究目标与创意的配对预测引用影响力标签，并利用该奖励信号，通过先进行监督微调、再进行强化学习的方式，对创意生成器进行对齐。为降低循环论证的风险，我们采用一种基于留出数据且以参考为依据的评估协议：将模型输出与相同研究目标下的历史创意进行比较，并根据参考创意的引用影响力标签对评判结果加权。实验表明，与基础模型和监督微调基线相比，经过 RL 调优的模型持续生成具有更高估计影响力的创意。我们的研究结果表明，科学影响力可以作为一种实用且以结果为基础的反馈信号，用于在开放式科学发现中对齐 LLMs。