低精度 Transformer 推理中的随机舍入：小型 GPT-2 的可变精度仿真研究

arXiv:2610.01889v1 公告类型：新 摘要：低精度 Transformer 推理应使用随机舍入（SR）还是舍入到最近值（RN）？答案取决于考察网络中的哪个位置。我们固定数值格式，仅改变各个操作位置的舍入规则，以隔离这一影响。为了能够在任意选定的精度下进行实验，我们将 PRISM 向量化舍入库扩展到任意虚拟精度，实现了可变精度随机舍入（VPSR）算法，并证明舍入决策是在硬件浮点数中精确求值的。我们提出了两种互补的分析方法，以深入理解这种操作位置层面的权衡。首先，针对线性投影的概率前向误差界表明，随着归约长度 $n$ 的增加，SR 的误差包络以 $O(\sqrt{n} u)$ 增长，而 RN 则以 $O(n u)$ 增长；在低精度下，这一差距会迅速扩大，并且在较长的多层感知机（MLP）下投影中最为明显。其次，在输出 softmax 处对期望交叉熵损失变化进行二阶分解，将其拆分为有符号漂移、漂移曲率和 Fisher 加权方差惩罚，从而揭示了两个位置为何表现相反：MLP 噪声主要表现为统一的 logit 偏移，而 softmax 对此具有不变性，因此 SR 的方差大多会被折扣；头部噪声在词汇表中并不均匀，因而不会被折扣。在 $t=6$ 个有效数位的 DistilGPT-2 上，观测结果与理论一致：在 MLP 中使用 SR 时，困惑度为全精度参考值的 1.15 倍，而使用 RN 时为 2.21 倍。在语言模型头部，排序则发生反转，因为 SR 会引入不均匀方差，而确定性的 RN 不会。在混合精度配置中（MLP 输出使用 $t=6$），将 SR 分配给 MLP、将 RN 分配给头部，可使困惑度控制在全精度参考值的 1.10 倍以内；与位数匹配的 RN 相比，困惑度降低了 28%。