Lotus：通过学习预测来学习理解时间序列

arXiv:2610.18877v1 公告类型：新论文 摘要：时间序列语言模型通常利用标签、描述或问答对，将数值信号与语言对齐。尽管此类监督有助于形成语言表征，但并未明确要求这些表征保留底层时间序列信号如何演变的信息。我们提出预测锚定，这是一种预训练原则，要求与语言对齐的时间序列表征在适配下游任务之前，仍能预测未来的演变。我们在 LOTUS 中实现了这一原则：将每个时间序列通道划分为互不重叠的片段，并将其映射到 LLM 嵌入空间。随后，模型根据时间序列词元的 LLM 隐藏状态预测下一个片段，从而促使学到的表征保留时序信息。为同时捕捉时序变化和周期性模式，我们还提出了一种时域—频域片段表征，在将每个原始时间序列片段映射到 LLM 嵌入空间之前，先将其与对应的频谱表征相结合。在三种语言模型骨干和六个下游评估数据集上，LOTUS 以极少的可训练参数取得了最佳平均性能，准确率达到 59.91%，比相同条件下最强的基线高出 3.36%。进一步的表征分析表明，LOTUS 利用了数值输入，并在学到的片段表征中保留了时序结构。这些结果表明，预测锚定是一种前景可观的预训练原则，能够使紧凑的时间序列语言模型在 TSRBench 上超越规模为其 25 至 50 倍的模型。