用于电力负荷预测的极低状态量化 Transformer

arXiv:2610.28784v1 公告类型：新 摘要：激进的低状态权重量化会大幅削弱神经网络的表征灵活性，使得在仅有少量离散权重状态可用时难以保持预测性能。我们针对基于 Transformer 的电力负荷预测研究了这一情形，采用 3、5、7 和 16 状态的权重量化方案，涵盖仅对前馈层量化以及对注意力层和前馈层同时量化两种设置。两个任务分别基于前 48 小时的数据预测下一小时或未来 24 小时，使用两个共同主要的电力消费数据集。在 Datasets A 和 B 中，直接进行训练后量化（PTQ）使平均归一化均方根误差（NRMSE）相较于全精度分别增加了 6.25 和 7.04 个百分点，而量化感知微调（QAT-FT）分别恢复了其中约 90.2% 和 94.5% 的性能损失。从随机初始化开始进行量化感知训练（Scratch-QAT）同样产生了具有竞争力的低状态解决方案，在三状态设置下表现尤其良好。我们进一步引入累积更新阈值机制，在提交更新之前先累积优化器提出的权重变化。相较于配对的 Scratch-QAT 对照组，该方法使已提交的影子权重更新减少约 99.7%，使离散状态转换减少约 77--80%，而平均 NRMSE 仅变化了 +0.042 和 +0.197 个百分点。这些结果表明，即使采用高度离散的权重表示，仍能保留有用的 Transformer 预测能力，同时大幅抑制目标状态活动，为利用多级突触器件实现紧凑、低活动度的边缘预测提供了一条潜在路径。