arXiv cs.LG精选75

论利用协变量的时间序列基础模型中日历特征的编码

On the Encoding of Calendar Features in Covariate-Informed Time Series Foundation Models

· 2天前

精选理由

系统比较七种日历特征编码,揭示其对时序基础模型预测精度的显著影响,尤其能改善节假日预测。

AI 摘要

arXiv:2610.13676v1 公告类型:新论文 摘要:时间序列基础模型(TSFMs)越来越多地支持协变量,其中日历信息是实践中最常见的类别协变量,因为每个时间点都有相应的日历信息。然而,这些特征的编码方式大多被视为实现细节,而非研究对象,尽管编码是预训练模型在推理时仍可调整的少数设计选择之一。本研究表明,信息传入模型的方式会显著影响 TSFMs 的预测准确性。因此,我们在来自多个领域的九个数据集上,对四种最先进的 TSFMs 进行零样本滚动评估,系统比较了七种日历编码,包括三种常规的、与目标无关的表示方式(序数编码、独热编码和周期编码)以及四种目标编码。这九个数据集受到周末和节假日等相关社会活动的影响,因此日历信息对预测尤为重要。我们发现,编码选择会影响所有模型的预测准确性;在同一模型内,不同编码在非节假日的 MASE 差异最高可达 9.9%,在节假日则可达 83%。编码的有效性及其被利用的程度在不同模型间存在显著差异。性能提升主要集中在节假日前后,此时日历信息提供了目标变量历史数据中无法获取的信号;同时,某些模型与编码的组合也能改善非节假日的预测。基于 SHAP 的归因分析确定了协变量相对于自回归部分的贡献,并解释了某些模型与编码的组合为何会导致性能下降。我们的研究结果表明,当前针对利用协变量的 TSFMs 的基准测试,可能会因采用固定编码策略而扭曲模型比较结果。

查看原文(arXiv cs.LG)