自动构建强大的简单基线

arXiv:2610.40700v1 公告类型：新稿 摘要：要严格确立一种新型深度学习方法的价值，就必须将其与适当的基线进行比较。随着深度学习在物理科学和生命科学中日益普及，已有许多案例表明，看似取得的进展实际上只是遗漏或缺失基线所造成的假象。在本研究中，我们探讨能否利用大语言模型自动构建基线，从而缓解这一问题。我们从 Nature、Science 和 Cell 系列期刊发表的同行评审研究中汇集了 36 项监督分类与回归任务，这些研究探索了面向科学应用的新型深度学习方法。随后，我们使用语言模型为每项任务构建简单基线。这些自动构建的基线表现强劲，弥合了简单预测器与深度学习模型得分之间差距的中位数为 95.5%（均值为 85.7%）。在 12 项研究中，简单基线的中位性能达到或超过了深度学习模型的性能。我们进一步考察了不同科学领域和发表期刊之间的差异，并分析了测试时计算量以及获取不同层次研究背景信息的影响。近年来，人工同行评审已难以跟上研究论文数量快速增长的步伐；我们的结果表明，自动构建基线是一种实用且可扩展的手段，可用于检验深度学习在物理科学和生命科学中的贡献。