OpenTSLM TeeMoE：用于预测、上下文条件预测和推理的统一时间序列语言模型

arXiv:2609.40265v2 发布类型：替换 摘要：现实世界中的时间序列应用日益需要能够处理时间序列预测、上下文条件预测和基于语言的时间推理的模型。然而，当前的时间序列基础模型在这些能力之间仍然彼此割裂：数值专家通常能够提供最强的预测结果，而基于语言的模型则具备更广泛的上下文理解与分析能力。如何在不削弱各项能力独立表现的情况下统一这些异构能力，是一个核心挑战。我们提出 OpenTSLM TeeMoE，这是一种通用型时间序列语言模型，能够直接根据观测到的时间序列进行预测，围绕文本上下文和时间模式进行推理，并融合和优化来自外部数值预测专家的预测结果。我们在共享骨干网络上分别训练了三个低秩专家，用于预测聚合、原生预测和时间分析。随后，一个经过学习的 LoRA 混合专家控制器会针对每个请求，对这三个专家冻结的参数更新进行加权。我们提出的模型在时间序列预测、上下文条件预测和基于语言的时间推理等广泛使用的基准测试中均取得了出色表现：按平均 MASE 排名位列 GIFT-Eval 前三，按 RCRPS 位列 Context is Key 前三，并按准确率位列 TimeSeriesExam 前三。