时间序列基础模型的尺度不变训练

arXiv:2610.07324v1 公告类型：新 摘要：时间序列基础模型（TSFM）在涵盖各种形态和领域的大规模时间序列数据集集合上进行训练。这种设置使模型接触到尺度差异可能非常显著的序列——即其数值的典型量级。可逆实例归一化（Reversible Instance Normalization，ReVIN）等仿射缩放方法会对模型输入进行缩放，并在计算损失前反转该变换。我们表明，相对于在缩放目标上计算的损失，这种反转会使每个序列的梯度乘以 $b^p$，其中 $b$ 是缩放分母（例如标准差），$p$ 是损失的阶数。我们将这种训练方式称为尺度污染训练（ScaleCon），因为每个序列的尺度因而会成为一个重要性权重，导致高尺度序列主导训练。对于任意具有尺度等变性的缩放器，以及任意具有 $p$ 阶齐次性的残差损失（包括 MSE、MAE 和 Quantile Loss），我们证明，在缩放目标上计算损失，会使每个小批量梯度以及由此产生的完整优化轨迹不受训练序列任意独立缩放的影响，从而实现尺度不变训练（ScaleIn）。值得注意的是，现有 TSFM 同时采用这两种目标，但既没有一致的报告方式，也没有关于如何计算训练损失的通用规范。我们通过合成数据和真实数据上的受控研究，剥离并分析了 ScaleCon 导致的收敛差异，以及 ScaleIn 对该差异的修正效果。在四种 TSFM 架构上的预训练中，ScaleIn 在全部 24 个架构—基准测试比较中都降低了 MASE；在各 TSFM 上平均而言，GIFT-Eval 上的降幅为 18.8%，M-competitions 上的降幅为 21.9%。这种提升还扩展到了有监督神经预测，在 20 个匹配设置中的 16 个设置里降低了 MASE。大多数现有的时间序列预测流程只需修改一行代码即可采用 ScaleIn。