R-GroundBench:Markush 分子编辑的 R-基团关联诊断基准
R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing
精选理由
系统揭示模型在Markush结构R基团定位与编辑上的短板,助力化学AI评测与改进
AI 摘要
arXiv:2610.00700v1 公告类型:cross 摘要:近期,面向科学发现的 AI 取得了长足进展,使分子理解与设计成为可能,但对于不完整化学表示的推理仍不清晰。Markush 结构通过可变的 R-基团占位符(\textit{R\textsubscript{1}}、\textit{R\textsubscript{2}}、\textit{X} 等)对分子家族进行编码,广泛存在于制药专利中,需要在分子、文本和化学信息之间建立关联。然而,现有的分子-语言基准主要关注完全明确的分子,因而基本未对 R-基团关联能力进行评估。我们提出 R-GroundBench:一个基于真实专利 Markush 结构构建的诊断基准,包含具有受控难度和模态划分的选择题(VQA)赛道,以及开放式生成赛道。结果显示,模型在识别能力与分子关联能力之间存在显著差距。尽管模型在简单 VQA 上的准确率超过 90%,但在控制捷径后,其在困难 VQA 上的表现下降至 56--66%。即使经过领域特定预训练,化学领域 VLM 仍不可靠,在困难 VQA 上的准确率仅为 25.7--46.2%。此外,大多数模型的生成精确匹配率仍低于 20%;当需要视觉输入时,该指标低于 8%。这些发现表明,当前 AI 系统在 Markush 编辑方面缺乏可靠的关联能力与执行能力,也凸显了 AI 驱动科学发现所面临的挑战。