TSFM 与 LLM 相遇：将上下文作为协变量

arXiv:2611.05515v1 公告类型：新提交 摘要：文本信息广泛存在于现实世界的时间序列数据集中，以新闻、报告和注释等形式出现，其中蕴含着仅凭历史数值无法推导出的关键预测信号。大语言模型（LLM）能够理解文本，但缺乏数值精确性；时间序列基础模型（TSFM）在定量预测上准确，却无法推理文本的影响。此外，缺乏大规模配对多模态数据集，也限制了弥合这一差距的进展。在本研究中，我们提供了一种可扩展的方法，通过使用 LLM 为现实世界的时间序列添加注释，生成贴近真实情况的多模态数据集，以应对这一挑战。在此基础上，我们提出了 Context as Covariates（CoCo）预测框架：LLM 将其文本推理提炼为具有数值依据的预测协变量和置信度协变量，用于引导 TSFM 骨干模型，从而发挥 LLM 和 TSFM 各自的优势。我们分阶段对齐这两个模型：首先通过组相对策略优化（GRPO）微调 LLM，其奖励与协变量带来的预测性能提升挂钩；随后使用对齐后的 LLM 生成的协变量微调 TSFM。实验表明，在我们的合成多模态语料库上训练的模型，能够泛化到涵盖金融、经济、天气、交通和安全领域的真实基准测试。值得注意的是，当采用 Qwen3-4B-Instruct-2507 作为 LLM、Chronos2 作为 TSFM 时，CoCo 相比最先进的 TSFM 和 GPT-4o 等 LLM 预测模型，平均绝对误差（MAE）最多降低 12%。代码、模型检查点和评估数据集均已公开。