超越骨架划分:结构前沿评估揭示 ADMET 模型的隐性失效
Beyond Scaffold Splits: Structural-Frontier Evaluation Reveals Hidden Failures in ADMET Models
精选理由
揭示传统骨架划分会低估 ADMET 模型在结构陌生分子上的误差,为评测与数据划分提供依据。
AI 摘要
arXiv:2607.10729v4 公告类型:替换 摘要:分子性质模型通常通过留出 Bemis-Murcko 骨架进行评估,但骨架标识符仅代表化学陌生性的一种定义。我们提出一种无需标签的结构前沿划分方法,将最稀疏且在物理化学性质上最偏远的骨架组留作评估集,并在六项公开的实验性或经整理的 ADMET 任务上进行评估。相较于采用相同无环分子分组方式、按 70/10/20 比例划分的骨架对照,结构前沿使等权重主要误差增大,各任务增幅的中位数为 87.0%,对偏斜敏感的均值为 130.3%(描述性任务/随机种子自助法区间为 52.1–246.0%)。去除 BBB 后,平均增幅降至 75.9%;该终点正是在结构前沿上得分排名发生反转的终点。消息传递图网络对照仍显示出较大差距(四项任务的平均增幅为 82.8%),且未发生排名反转,因此低容量预测头无法解释这一效应。我们还测试了 Multi-View Frontier Risk Extrapolation(MV-FREX),这是一种基于四种分子视图、经计数调整的尾部风险惩罚方法,并将其视为可证伪的探测手段。相较于经验风险最小化,该方法仅使感知机预测头的归一化结构前沿误差变化了 0.16%(区间为 -0.43–0.84%),使图网络的误差变化了 -1.9%;另外三种固定的稳健惩罚对照同样未得出明确结论。与已发表的 Lo-Hi 和 DataSAIL 划分器相比,结构前沿平均而言导致更大的误差增幅,但没有哪种划分在所有情况下都最难。对 31,561 种海洋天然产物的审查进一步表明,分布外(OOD)状态及其与既有 ADMET 预测的一致性取决于分子视图、终点和教师模型的覆盖范围。划分构建方式和标签来源本身就是重要的评估约束,而所测试的训练惩罚项并未解决我们观察到的结构前沿失效问题。