在联邦时间序列预测中从静态上下文学习
Learning From Static Context in Federated Time Series Forecasting
精选理由
揭示联邦训练中静态特征易被本地更新削弱，并验证高频聚合可改善多类时序预测表现。
AI 摘要
arXiv:2611.06064v1 公告类型：新增 摘要：时间序列预测正从针对每条序列在本地训练的模型，转向在多条异构序列上训练的全局模型，这要求模型学习各条序列之间的差异。当原始数据无法集中存储时，此类全局模型便通过联邦学习（FL）进行训练，每个数据所有者对应一个客户端。Temporal Fusion Transformer（TFT）等最先进的预测模型通过描述每条序列且不随时间变化的静态输入来区分序列。在每个客户端仅持有一条序列这一特殊联邦场景下，该静态输入在各客户端内部保持不变，仅在客户端之间存在差异。我们探究了联邦 TFT 能否从这种输入中学习。逐批次 FedAdam 在每个批次后聚合梯度，其利用静态输入的效果几乎与集中式训练相当；而采用本地多轮训练的通信高效方案（FedAvg、FedAdam+Prox）从静态输入中提取的信息少得多，且在两个应用数据集上均未获得显著收益。在相同的本地计算量下，与 Adam 兼容的 SCAFFOLD 在风电数据上使静态信息通路保持响应，并取得显著收益。在建筑能耗数据上，其误差仍有所下降，但静态信息通路却不再发挥作用，因此无法完全区分漂移与通信频率各自的因果作用。只有逐批次 FedAdam 在所有数据集上的表现均达到或超过各客户端的本地模型。我们在建筑能耗计量数据、风电数据集和受控合成数据集上验证了这一效应。这种性能损失并非 TFT 所独有：在合成数据和风电数据上，另外两种采用不同静态条件化机制的架构也表现出了同样的现象。