同一分子，不同知识：化学领域 LLM 的跨标识符绑定失效

arXiv:2610.30903v1 公告类型：新稿 摘要：化学 AI 工作流通常使用多个指向同一分子的标识符来表示该分子，包括俗名、IUPAC 名称和 SMILES，并隐含地假定这些表示可以互换使用，以访问 LLM 的知识。为检验这一假设，我们首先提出一个受控基准，并证明该假设并不成立。在参数规模从 7B 到 72B 的基础模型中，即便是化学专用模型，指向同一分子的不同标识符也始终会显露出模型知识的不同子集。随后，我们开展了一系列受控的行为、表征和因果分析，以刻画这一失效现象。我们发现，即使模型能够根据 SMILES 识别分子，并通过对应名称检索到某项事实，它仍可能无法直接通过 SMILES 获取同一事实。我们将这一现象称为“跨标识符绑定失效”。对内部表征、冲突标识符和参数编辑的进一步分析表明，无论是提升化学表征能力，还是修改单项事实，都不足以建立跨标识符的可靠知识访问机制。综合来看，这些结果表明，问题的核心在于标识符与模型已有知识之间的绑定。基于这一诊断，我们提出 Binding Self-Distillation，这是一种简单的缓解方法，在训练期间利用词汇层面的同一性，将模型已有的知识访问能力迁移到结构表示路径上。这使模型能够在推理时直接通过 SMILES 检索事实，而无需查询名称或从头训练底层模型。