通过提示演化实现多模态预测的无训练持续学习
Training-Free Continual Learning for Multimodal Forecasting via Prompt Evolution
精选理由
介绍无需训练的提示词进化方法,让多模态预测低成本适应变化并减少数据泄漏。
AI 摘要
arXiv:2610.27468v1 发布类型:新 摘要:使预测系统适应不断变化的世界,传统上意味着重新训练。我们探讨这样一个问题:面向时间序列预测的持续学习机制,是否可以表示为一段文本——一个通过结果驱动的反思不断演化、并用于冻结式 LLM 预测器提示词中的指导模块。在一个更新后的多模态基准上(每周搜索指数、每日货币汇率、每日大宗商品数据,且每个窗口都配有从网络检索的新闻),我们在严格的污染控制下运行 GEPA 风格的提示演化,以防止时间序列基准中常见的数据泄漏:预测器的知识截止时间早于所有评估窗口。由 Llama-3.3-70B 使用的一个 900 词演化指导模块,在留出数据上优于 TimeSeries Foundation Models(TSFMs)(GM MASE 为 0.776,而 TabPFN-TS-3 为 0.898);将其迁移到更新的模型时没有可测量的性能损失,并且更新成本以美元计,而非 GPU 天。我们刻画了这一循环:循环外收益主要集中在第一次反思中;如果没有未参与优化的监控器进行裁决,循环内改进会将循环外收益高估 2 至 3 倍;而仅以误差为目标会在不知不觉中抑制文本模态。我们提出了两项扩展。第一,将指导模块编译为可执行代码,并将 TSFM 作为可调用工具,可确定性地恢复大部分收益。第二,消融实验表明,在较短预测跨度上,这一优势会扩大;移除新闻文本并不会损害指导式预测器的表现,这与文本价值在学习过程中被蒸馏为策略的解释一致。我们认为,持续提示演化是多模态预测中一种实用的、无需训练的重新训练替代方案。