大模型，小增益：在 MONSTER 上将冻结的预测模型用作分类器

arXiv:2611.06988v1 公告类型：新论文 摘要：预测基础模型正越来越多地被用作时间序列分类的冻结特征提取器，但其预训练表示是否优于无需预训练的强分类器，目前仍不明确。这引出了一个重要问题：这些表示能否提供仅凭模型架构无法捕获的有用信息，尤其是在标注数据稀缺时？我们在 MONSTER 基准中的六个大型数据集上，分别使用可用训练标签的 1%、10% 和 100%，对 Reverso 和 Chronos-Bolt 两个预测模型进行了受控基准评测。我们将其冻结表示与四种成熟的时间序列分类方法，以及相同预测模型的随机权重版本进行了比较。结果表明，在六个数据集中的五个上，预训练相较于随机权重版本提高了分类准确率，增幅最高达 23 个百分点。然而，在任何设置下，冻结表示均未能稳定超越最强的非预训练基线：在 17 种设置中的 15 种中表现更差，其余两种则持平。进一步实验表明，恢复幅值信息可弥合部分性能差距，而微调和预测误差特征均无法消除这一差距。这些发现凸显了在评估预测基础模型的分类能力时，采用强大的任务专用基线和随机权重对照的重要性。我们的代码已公开，地址为 https://github.com/Rachet2006/frozen-forecasters-monster。