推理模型在因果识别上准确但不可靠

当被询问某种因果效应是否可以从观察数据中恢复时，推理模型可能以两种方式失败：拒绝回答可识别的查询，或回答不可识别的查询。后者影响更为严重，因为任何观察数据都无法验证其所声称的公式。要衡量这种失败，需要使用经过严格证明的不可识别查询，而此前的评测并未提供这类查询；同时还需要能够接受任何等价形式的正确公式作为答案的评分方法，而字符串匹配无法做到这一点。我们构建了 CERTID，这是一套形式化的识别流程，旨在解决上述两个局限。CERTID 使用可靠且完备的因果识别算法 ID，根据给定的图和查询验证某种效应是否可识别，并针对干预分布已知且精确的结构因果模型，核验返回的公式。CERTID 进一步推导理论结果，以减轻结构性泄漏、修复不可识别的查询，并建立评分保证。我们在 1,200 个经过认证的实例上评测了三种前沿推理模型（Gemini Flash、Gemini Pro 和 GPT5.5），这些实例涵盖包含 4 至 50 个顶点的图。结果表明，准确率并不是可靠性的良好替代指标：在相同实例上，不可识别查询中的错误断言率在不同模型之间相差 17 倍。我们还发现，对于在最强模型训练快照之后生成的图，模型判断可识别性的准确率达到 97% 至 100%。实例、认证流程、验证器以及逐实例记录可见于 https://anonymous.4open.science/r/certid-D718。