学习共享什么：面向时间序列预测的专家专门化

多变量预测的一个核心挑战是决定跨通道共享什么，以及在哪些方面进行专门化。混合专家模型提供了灵活的共享机制，但其预测性能提升有多少来自容量增加、多少来自专家分配，目前仍不明确。通过在十一个数据集和三种骨干网络上开展受控比较，我们表明，基于有效信息的通道分配能够带来超越容量匹配的共享方案和随机分配方案的预测改进。在冻结的 Transformer 骨干网络上，持久的通道特定混合方案平均而言优于依赖输入的路由方案。为考察专门化何时有效以及能带来多大帮助，我们引入了 GalaxyTS，这是一个具有精确共享预测参照和通道特定预测参照的受控合成数据集。它揭示了持久的通道混合如何利用被短输入窗口掩盖的预测差异，并衡量其相对于匹配的共享校正方案所带来的增益。这些洞见促使我们提出 Persistent Closed-Form Routing（PCR），这是一种即插即用的方法，交替进行通道特定混合权重的精确条件估计，以及围绕冻结预训练预测器构建的低秩残差专家的梯度训练。在四种预测跨度上取平均后，相较于三种冻结骨干网络，PCR-K4 实现了 3.86%–14.25% 的数据集均衡均方误差降幅。在匹配比较中，PCR 平均而言优于其他专门化方法，同时所需的可训练参数显著更少。