MolP2SBench：LLMs 真的能从分子性质推理出结构吗？

arXiv:2610.12522v1 公告类型：交叉收录 摘要：大型语言模型（LLMs）正越来越多地用于分子发现与结构解析，这些领域的决策依赖于物理观测。现有评估主要关注端到端的分子重建，而正确的预测并不一定意味着模型依赖了所提供的性质信息。我们提出 MolP2SBench，这是一个用于评估 LLMs 从分子性质到结构（P2S）推理能力的基准。每项任务提供一个部分被掩蔽的分子骨架及给定性质，要求模型从合理的候选项中选出缺失的结构。我们通过打乱或替换性质，检验模型对正确性质—结构配对的依赖程度，以及对反事实性质变化的响应能力。按信息通道分别评估的排行榜采用基于性质的恢复指标（Property-Grounded Recovery，PGR），对原始条件与反事实条件下的恢复表现赋予相同权重。通过评估七个模型，我们发现 LLMs 能够利用物理性质进行结构预测，但在不同性质类型上的表现差异显著。使用某种性质时准确率更高，并不一定意味着对该性质的响应更强：模型从 $^1$H NMR 中获得的收益可能大于从 $^{13}$C NMR 中获得的收益，但在 $^1$H 数据被替换时，反而更不容易改变预测。LLMs 的表现也未必反映人类化学家利用这些性质进行推断时的相对难度。尽管 UV-Vis 光谱提供的直接结构信息少于 NMR 光谱，Astra 使用 UV-Vis 数据时的准确率却高于使用 NMR 谱峰时。MolP2SBench 支持研究 LLMs 如何提取和利用物理性质信息，揭示可能不同于传统化学直觉的模式，并为构建更可靠地以性质为依据、用于分子与量子化学推断的模型奠定基础。代码和数据集：https://github.com/DUAL-Xiao/MolP2SBench。