arXiv cs.LG精选83

预测关联而非干预:一项预注册的协变量感知时间序列基础模型因果审计

Forecasting Associations, Not Interventions: A Preregistered Causal Audit of Covariate-Aware Time Series Foundation Models

· 1小时前

精选理由

揭示时间序列基础模型混淆相关与因果的局限,并提供低成本校准方法。

AI 摘要

arXiv:2610.31869v1 发布类型:新 摘要:协变量感知时间序列基础模型(TSFM)接收控制变量的未来路径并返回预测结果,因此可以提出假设性问题。该查询属于干预性查询;而模型是在观测数据上训练的。我们从三个层面判定,它们给出的答案究竟是条件斜率 $\partial E[Y|X]$,还是干预效应 $\partial E[Y|do(X)]$。理论层面:贝叶斯最优观测预测器会以关联方式回答干预查询,除非调整集可用且被实际采用;对于上下文内最小二乘,我们以闭式形式推导出由此产生的混杂差距——模型在观测上下文与随机化上下文下的效应估计之差——这是一条与参数无关的参考线。行为层面:在一个预注册的网格实验中,使用精确的反事实真实值,Chronos-2、TiRex-2、TabPFN-TS 和 TimesFM-2.5 都沿着这条参考线变化($R^2$ 为 0.90–1.00),并且比回归本身表现出更强的混杂响应(斜率为 1.3–1.8),这一结果在线性和非线性结构模型上均成立。具有相同观测分布规律的模型对证明,这并非可识别性限制:当效应可识别时,最小二乘能够恢复真实效应差异的 100%,Chronos-2 恢复 75%,TiRex-2 恢复 34%。表示层面:线性探针能够从预测结果所忽略的嵌入中解码出数据生成机制(94–96%)和真实效应($R^2$ 为 0.7–0.9)。在两个配备随机化执行器的物理系统上,预训练模型的响应幅度低于真实值 2–5 倍,并忽略窗口内的混杂。仅在 3,000 条合成序列上进行数分钟的干预性后训练,就能将差距最多缩小 83%,并迁移到训练先验之外。其预测代价是一种重放分布效应:重放模型自身的预训练先验,可将该差距对应的 MASE 从 +47% 降至 +10%;结合低秩适配后,在三个随机种子上得到了一套满足预注册标准的方法(差距缩小 52–61%,额外代价为 +1–3%),同时提升了 DoTime 基准测试表现。

查看原文(arXiv cs.LG)