arXiv cs.LG精选74

SteerCast:用于仅解码器时间序列预测的基于检索的潜在空间引导

SteerCast: Retrieval-Based Latent Steering for Decoder-Only Time Series Forecasting

· 5天前

精选理由

无需更新模型参数,检索相似历史即可提升时序预测精度。

AI 摘要

arXiv:2610.11229v1 公告类型:new 摘要:时间序列预测旨在根据历史观测值和辅助特征预测未来值。我们提出了 SteerCast,这是一种基于检索的潜在空间引导方法,可在推理时改进仅解码器预测器,而无需更新其参数。SteerCast 通过存储每个历史窗口的表示以及在预测器潜在空间中计算得到的引导向量,从训练集构建数据库。该引导向量定义为:由真实后续序列诱导的表示与由模型自身预测诱导的表示之差。在测试时,SteerCast 为查询历史检索最近邻样本,聚合其引导向量,并在自回归生成的每一步将所得信号注入预测器的隐藏状态,从而引导预测结果趋向于与相似训练案例一致的轨迹。在涵盖多种多变量基准数据集和多个预测跨度的实验中,SteerCast 始终比微调后的骨干模型和基于检索的基线方法取得更高的预测精度,同时无需在原始微调之外进行额外训练,并且仅使用训练集作为检索语料库。

查看原文(arXiv cs.LG)