MicroQonv：通过重塑卷积张量实现训练和推理中的高效微缩放

微缩放量化技术正日益用于以 8 位或更少位数表示神经网络参数，同时保持接近全精度的准确率。然而，在卷积层中高效应用这些方法并不简单。一种朴素方法是将全精度权重和激活传输到处理单元，并对每个张量进行两次量化，这会导致内存移动量远超预期。额外开销还来自激活张量：由于量化前应用了 im2col 变换，其规模会大幅增长。我们提出了 MicroQonv，通过仅对每个张量量化一次，并在应用修改版 im2col——channel-batch-first im2col——之前对激活张量进行量化，将微缩放与卷积层的前向和反向操作相结合。MicroQonv 将权重和梯度的量化成本降低了 $\times2$，将激活的量化成本最多降低了 $\times9$，且几乎不损失准确率。与全精度对应版本相比，它将内存移动和存储量最多降低了 $\times7.53$。借助这一方法，MicroQonv 将当前最先进的目标检测模型 YOLOV8nano 和 YOLOV26nano 中经微缩放量化的激活内存移动量分别降低了 $\times3.5$ 和 $\times2.2$。此外，它还支持在面向边缘端持续学习的量化潜在重放策略中采用 4 位微缩放，使准确率提升 +5.7% 至 +11%。