arXiv cs.LG精选78

面向电力负荷预测的时间序列基础模型参数高效适配

Parameter-Efficient Adaptation of Time Series Foundation Models for Electrical Load Forecasting

· 2小时前

精选理由

深度 84 / 影响力 82,来自 arXiv cs.LG。

AI 摘要

arXiv:2610.28200v1 发布类型:新 摘要:准确的电力负荷预测支持各国、各地区、各城市及各建筑的电力系统运行,但反复开发面向特定目标的模型成本高昂。时间序列基础模型(TSFM)提供了可复用的预训练骨干网络,但多领域预训练可能无法充分捕捉负荷特有的特征。本文在四种电力负荷聚合层级上,从预测准确率和适配效率两个方面比较了预训练推理、全量微调和低秩适配(LoRA)。MOIRAI 1.0 Large 作为主要骨干模型,Chronos-2 则用于评估研究结论能否跨模型系列迁移。评估涵盖分布内(ID)和分布外(OOD)设置,并考察紧凑型适配相较于性能强劲的预训练检查点是否能够带来稳定收益。在所评估的各个聚合层级上,预训练基础模型的表现均优于本文实现的季节性朴素模型和 XGBoost 基线。在 MOIRAI Large 上,秩为 16 的 LoRA 平均将归一化平均绝对误差(NMAE)降低了 7.5%,仅更新 314.6 万个参数,约占模型参数量的 1%,同时保留了全量微调带来的大部分改进。Chronos-2 的预训练 NMAE 低于 MOIRAI,但从适配中获得的收益较小。OOD 结果表明,适配带来的收益因目标而异,其中本地区域序列和若干建筑的提升最为明显。总体而言,当适配相较于性能强劲的预训练检查点能够带来显著收益时,LoRA 在准确率与效率之间实现了较为理想的权衡。

查看原文(arXiv cs.LG)