化学语言模型规模化极限的大规模研究

arXiv:2508.13408v3 发布类型：替换 摘要：化学语言模型（CLMs）正日益应用于从头药物设计，这得益于近年来模型规模、计算量和数据集规模的增长。然而，设计选择、训练动态与下游生成质量之间的关系仍缺乏充分理解。我们开展了一项计算受控的 CLMs 规模化研究，涵盖超过 30,000 项实验，涉及分子表示（SMILES、SELFIES、SAFE）、分词方式（原子级分词和字节对编码）、模型规模（0.5M–1B 参数）、经过数据泄漏控制的数据集（MOSES、ChEMBL、PubChem、ZINC-22）以及模型架构（仅解码器和编码器-解码器）。通过拟合 IsoFLOP 曲线，我们确立了预训练损失的明确规模化趋势，但发现这些改进并未转化为目标导向分子设计中同等程度的性能提升。逐层探测和稀疏自编码器分析揭示了化学表征的持续发展：化学语法较早趋于饱和，而语义属性的形成更为缓慢，并随着进一步训练和模型规模扩大而变得越来越容易获取。在所评估的协议和 oracle 预算下，这些表征能力的提升与目标导向生成性能的边际递减并存。由此得到的模型套件 NovoMolGen 取得了最先进的结果，在各项药物发现任务的目标导向分子生成中超越了以往的 CLMs 和专用生成模型。这些发现揭示了化学表征学习与下游分子设计之间的脱节，推动人们开发能够更直接学习化学语义的预训练范式。