随机初始化作为时间序列基础模型的基线

arXiv:2610.30950v1 公告类型：新论文 摘要：时间序列基础模型（TSFM）通过自监督预训练学习可复用的表征，用于多变量时间序列分类（MTSC）等下游任务。我们在 UEA MTSC 数据集档案上，将来自四个 TSFM 系列的七个公开发布的模型实例与架构相同但随机初始化的对应模型进行比较，以考察预训练权重在架构本身之外带来了多大贡献。对于每个实例，我们评估五次随机初始化，并在冻结的表征上使用四种分类器：岭分类、逻辑回归、RBF SVM 和随机森林。由于计算资源限制而针对不同模型排除部分数据集后，本研究共包含 183 组数据集层面的配对比较。预训练提高了全部七个实例的平均准确率，但增益较小，介于 1.43 至 5.19 个百分点之间，总体平均提升为 2.58 个百分点。针对各实例进行的七项 Wilcoxon 符号秩检验中，有三项的原始 $p$ 值低于 0.05，但经过 Holm 校正后，仅 NuTime 仍具有统计显著性。对全部 183 组配对结果进行的次要合并检验得到 $p < 0.001$，但经校正的各实例检验仍是主要证据。我们还与 ROCKET、Hydra 和 Quant 进行了比较，这些方法无需大规模预训练也依然具有竞争力。这些发现表明，MTSC 评估应区分预训练权重与底层架构各自的作用，并应同时纳入架构匹配的随机初始化基线和强大的非预训练基线。