WOMBAT:用于分子基准测试和归因测试的白盒预言机
WOMBAT: Whitebox Oracle for Molecular Benchmarking and Attribution Testing
精选理由
为分子图神经网络解释器提供可验证的归因真值与系统评测基准。
AI 摘要
arXiv:2610.00713v1 公告类型:新 摘要:当图神经网络(GNN)解释器对某个分子生成出乎意料的归因结果时,仅凭归因结果无法判断究竟是解释器失效了,还是模型学到了捷径。我们提出 WOMBAT,这是一个包含 14 个白盒 GNN 的基准测试套件,其中每个模型的消息传递权重均由人工设定,用于检测特定的 SMARTS 基序。每个模型的决策规则在构造时就是已知的,从而提供了归因真值,可据此识别和研究解释器错误。我们在数百万个 PubChem 分子上验证了这些模型,并评估了包括 GNNExplainer、PGExplainer 和 Integrated Gradients 在内的事后解释器。根据定性分析,我们构建了一个模型,使 Integrated Gradients 将归因分散到整个图上,尽管该模型能够可靠地检测目标基序。我们发布数据集、模型和评估代码,以帮助研究人员开发更新的 GNN XAI 工具。