你的试验模拟器知道药物的作用吗？基于7,207项已注册试验的干预盲法有效性检验

arXiv:2611.05907v1 公告类型：交叉发布 摘要：患者世界模型正日益被提议用作临床试验模拟器，近期综述将其能力划分为从时间预测到反事实推演的不同层级。目前，模型在这一阶梯上的位置是通过阅读论文而非实际测量来确定的。我们将反事实这一层级转化为可测量的量。我们从ClinicalTrials.gov上已公布结果的30,119项已完成的2/3期试验中，构建了来自7,207项试验的9,996个经过审核的试验内对比，并根据模拟器的准确性在多大程度上依赖于知晓所测试的干预措施，对其进行评分。测量工具是一个干预盲法参照模型：使用同一个模型，在同一组试验上训练，但屏蔽所有可识别干预措施的字段。干预能力得分定义为完整模型相对于该参照模型所消除的误差。在按时间划分的数据集上（测试集包含来自655项试验的878个对比），基于注册数据训练的梯度提升模拟器消除了简单基线模型五分之一的误差，但其干预能力得分为-0.12（95%置信区间为-0.21至-0.05）：屏蔽干预信息反而使其表现更好，而且无论采用其他特征化方式、分层、时间切分点还是同分子检索，都未得到高于零的区间。一个仅读取已注册方案的前沿语言模型的干预能力得分为0.20 [0.08, 0.31]；较小模型和开放权重模型则处于检测极限。扰动测试表明，大模型确实将干预措施本身用于预测：交换试验组别后，86%的对比中预测值的正负号发生反转。盲法参照模型本身并非完全不知晓药物信息（语言模型有45%的概率能从盲法提示词中还原被屏蔽的药物类别），因此干预能力得分是一个保守下界。可靠性分析层表明，按预测误差排序能够降低误差，但经过校准的误差控制在时间分布偏移下无法迁移。基准、代码、提示词以及每次调用的模型输出均已公开。