arXiv cs.LG精选78

STCFormer:利用动态聚类 Transformer 进行基于站点天气预报的自适应时空建模

STCFormer: Adaptive Spatio-Temporal Modeling with Dynamic Cluster Transformer for Station-based Weather Forecasting

· 11天前

精选理由

动态聚类结合局部与全局注意力,提升多站点天气预报精度与鲁棒性。

AI 摘要

arXiv:2610.00377v1 公告类型:新 摘要:基于站点的天气预报为日常生活和经济活动提供支持,但要实现准确预测,需要对站点之间复杂的空间依赖关系进行建模。近年来,基于聚类的选择性建模为替代站点间密集交互提供了有前景的方案。然而,在一个观测窗口内共享同一种分组方式可能会掩盖站点关系的局部变化,而仅进行簇内交互又可能遗漏重要的全局上下文。与密集连接相比,选择性交互在理论上的优势也仍未得到充分理解。为此,我们提出 STCFormer,这是一种自适应时空 Transformer,根据每个时间块内站点的局部演化动态地对站点进行分组。其簇引导注意力模块结合了簇内的细粒度局部注意力与基于区域状态摘要的全局注意力,使每个站点都能够获取自身所属簇之外的信息。我们进一步证明,针对簇条件局部注意力推导出的 Lipschitz 上界不大于其全连接对应形式的上界,这说明该方法可能具备更好的鲁棒性,并为 InfoLoss 的设计提供了动机。在涵盖八项温度和风力预测任务的三个真实世界天气数据集上进行的实验表明,STCFormer 在全部八项任务中均取得了最低的 24 小时均方误差,并且在涵盖不同指标和预测时域的 48 项比较中,有 47 项排名第一或第二。消融实验和案例研究进一步证实了局部自适应分组以及互补的局部—全局交互的优势。我们的代码可从 https://github.com/hnu-vis/STCFormer 获取。

查看原文(arXiv cs.LG)