LEAN：通过损失工程调制模型权重敏感度分布，实现高效且容错的神经网络

arXiv:2610.28872v1 公告类型：新 摘要：训练完成的网络中，各权重对模型准确率的敏感度并不均匀：最敏感的1%权重承受了比特翻转可能造成损害的约五分之一。这种分布决定了模型的比特翻转容错能力、纠错码必须覆盖的权重比例，以及每个权重所需的比特数；现有方案只能依赖训练留下的分布。我们表明，可以系统地调制或改变训练完成模型的权重敏感度分布，从而将权重从一个敏感度区间转移到另一个区间。存储权重的敏感度是其梯度与存储格式中一次翻转所跨步长的乘积。LEAN在这两个因素上加入复合正则化项：其中，范围项限制翻转步长，尾部项降低最敏感权重的梯度，并通过一个系数λ控制分布移动的幅度。在九个视觉模型（ResNet-18、ResNet-50、VGG-16，涵盖CIFAR-10、CIFAR-100和ImageNet）上，无论将该项用于微调，还是用于训练的最后若干轮，仅训练十轮就能在准确率下降不超过0.5个百分点的情况下，将敏感度尾部缩小5至13倍；真实翻转实验确认，重塑后的权重造成的损害更小，而普通的梯度范数惩罚无法复现这一效果。对三个小型语言模型的初步扩展也显示出相同的尾部塑形效果。使用覆盖1%权重的BCH码后，模型在每个训练随机种子下都能承受300次渐进式比特搜索翻转，并在三个种子中的两个下承受500次；相比之下，采用相同编码的四种已发表防御方法中有三种在300次翻转时失效，而WCAT在500次翻转时的准确率降至75%。重塑后的分布还使达到固定保障所需的校验位减少了3.7倍，并使按敏感度排序的8/6/4/3比特格式变得可行：该格式以3.29比特的权重载荷存储ImageNet上的ResNet-50，比INT8小2.4倍，同时准确率高于3比特的LSQ。