你的试验模拟器知道药物有什么作用吗？基于7,207项注册试验的干预盲法有效性检验

患者世界模型日益被提议用作临床试验模拟器，近期综述则将其能力划分为从时序预测到反事实推演的不同层级。目前，模型在这一阶梯上的位置是通过阅读论文而非实际测量来确定的。我们将反事实这一层级转化为可测量的量。我们从ClinicalTrials.gov上已公布结果的30,119项已完成的2/3期试验中，构建了来自7,207项试验的9,996组经审核的试验内对比，并根据模拟器的准确性在多大程度上依赖于知晓所测试的干预措施，对其进行评分。测量工具是一个干预盲法参照：使用同一模型、在相同试验上训练，但隐去所有可识别干预措施的字段。干预能力定义为完整模型相对于该参照所减少的误差。在按时间划分的数据集上（测试集包含来自655项试验的878组对比），一个基于注册数据训练的梯度提升模拟器消除了简单基线五分之一的误差，但其干预能力为-0.12（95%置信区间为-0.21至-0.05）：隐去干预信息反而使其表现更好，而且无论采用其他特征化方式、分层、时间切分点还是同分子检索，所得区间均未高于零。一个仅读取注册方案的前沿语言模型，其干预能力为0.20［0.08，0.31］；较小模型和开放权重模型则处于检测极限附近。扰动测试表明，大模型确实将干预措施本身作为预测依据：交换试验组别后，86%的对比中预测结果的正负号发生反转。盲法参照本身并非完全不知晓药物信息（语言模型能在45%的情况下从盲法提示词中还原被隐去的药物类别），因此干预能力是一个保守的下界。可靠性分析层显示，按预测误差排序可以降低误差，但经过校准的误差控制无法在时间分布偏移下迁移。基准、代码、提示词及每次调用的模型输出均已公开。