将 TS2Vec 转变为用于时间序列分类的基础模型

TS2Vec 是 2022 年提出的、用于时间序列分类的最强自监督方法之一。它被设计为在每个数据集上重新训练：先进行自监督预训练，再进行线性探测。此后，该领域逐渐转向在不同数据集之间复用同一个编码器的基础模型。然而，TS2Vec 采用紧凑的卷积架构，直接处理时间样本，并且无需重采样即可接受可变长度输入。我们探究了在编码器仅预训练一次的情况下，能否保留这些特性，并证明这是可行的：TS2Vec 基本上可以转变为一个基础模型。只需进行三项改动：在合成语料库上进行预训练；通过两个小型 stem，将输入的原始振幅视图和经过实例归一化的形状视图输入编码器；将每个视图对应的一个专用编码器蒸馏到单个编码器中。最终得到的 TS2Vec-FM 是一个拥有 160 万参数的扩张卷积网络。在保持冻结的情况下，通过线性探测，它在 UCR-128 上达到 83.3%，在 UEA-27 上达到 75.3%，与当前最先进的 MantisV2 相差不超过 0.3 个百分点，并且优于在每个目标数据集上分别训练的 TS2Vec。最令人感兴趣的是，TS2Vec-FM 的设计与其他基础模型有多么不同：它无需注意力机制、无需 patch tokenizer，也无需提取中间层表示，仅使用一种“老派”的卷积编码器和一个两层 MLP stem，就达到了近乎同等的性能。