arXiv cs.LG精选83

单元级聚合会破坏因果基础模型的覆盖率

Unit-level aggregation breaks coverage in causal foundation models

· 2小时前

精选理由

揭示因果基础模型聚合区间失真,并给出提升群体覆盖率的方法。

AI 摘要

arXiv:2610.22770v1 公告类型:cross 摘要:因果基础模型(CFM)在处理效应估计方面展现出良好前景,其单元级估计在标准基准测试中具有竞争力。然而,许多因果分析通过对单元组的效应取平均来为决策提供依据,例如对完整样本、接受处理的单元或某个子组进行平均。对于此类决策,只有当因果基础模型的可信区间经过校准时,它才具有实用价值。我们考察了这些区间,发现无论是在简单的合成设置中,还是在标准基准测试中,其覆盖率都会下降。例如,在 ACIC 2016 上,经过温度校准的 CausalPFN 95% 区间在由 4802 个单元组成的样本中,当分组规模超过 30 个单元后便低于名义覆盖率;而对于完整样本平均效应的区间,只有 20% 的数据集包含真实值。我们将这一问题追溯到这些模型的训练方式及其区间的构造方式。模型一次只输出一个单元的预测分布,而在推理时却将单元级方差合并,仿佛不同单元上的误差彼此独立。我们从形式上证明,对数据生成过程的后验不确定性会使这些误差产生相关性。因此,合并后的方差过小,其缩小程度会随分组规模的增大而增加。实证结果表明,这一缩小因子能够预测覆盖率失效发生的位置及其程度。随后我们展示了两个神经过程模型:它们针对一组单元进行联合预测,能够考虑这种相关性,并在合成任务的覆盖率方面实现显著改进;此外,将它们作为冻结的 CausalPFN 上的预测头时,在全部六个基准测试中也能显著提升覆盖率。

查看原文(arXiv cs.LG)