分子级似曾相识：前沿语言模型对已发表数值的按数字位检索

大型语言模型（LLMs）越来越多地在分子性质基准上进行评估，但准确性无法区分一个模型是在预测某个性质，还是在检索一个已发表的数值。我们对 22 个前沿模型在 12 个回归基准上进行逐字检索审计，发现这种现象广泛存在，但相对而言具有基准特异性：在五个数据集上，超过 $50\%$ 的 LLMs 表现出逐字检索，而在其余数据集中，这种现象仅出现在孤立的单元格中。我们在两个推理层级上进行了实验，发现推理会改变检索行为。在相同分子和相同提示下，相同实验在更高推理层级上被标记为逐字检索的频率比最低层级高 $89\%$。最后，我们在污染最严重的案例中测试了一种中断检索的方法，发现最强的模型在某些情况下仍能识别变换后的 SMILES 字符串与原始标签的组合。此外，抑制检索会使不同模型的预测误差在相对意义上彼此更接近，而它们对逐字检索的不同使用则会使其差异扩大。这表明，LLM 的一般预测能力并不单纯由记忆化数值的数量决定。本研究概述了使用 LLMs 在分子回归基准中逐字检索的数量和深度。