ShiftQAT：面向固定功能边缘 CNN 加速器数值契约的量化感知训练

arXiv:2610.21695v1 公告类型：新 摘要：固定功能 CNN 加速器能够实现快速且高能效的边缘推理，但它们只能执行满足精确数值契约的网络。在 MAX7800x 系列上，该契约要求使用二的幂次、逐张量、对称缩放，8 位激活值和偏置值、仅整数运算，以及每层一个静态配置的移位量。我们提出了 ShiftQAT，这是为该系列开发的量化感知训练（QAT）流程，可从设计上生成满足该契约的网络。它是该系列开源训练工具链 ai8x-training 的默认训练路径。ShiftQAT 解决了残差、拼接和权重共享依赖，使激活值缩放能够进行静态传播，并将每层的再量化简化为一个离线配置的移位操作。它还在一个联合的二的幂次网格上训练权重和偏置，使其符合 8 位偏置预算。在比较的方法中，只有 ShiftQAT 满足该契约的全部缩放约束，包括有符号 8 位激活值存储。即便如此，在 ImageNet 上，它的精度下降幅度与约束较少的 QAT 方法在 W8A8 下相当，并且在 W4A8 下与 FP32 的差距保持在 2.9 个百分点以内。在 MAX78002 芯片上，经过 ShiftQAT 训练的 MobileNetV2 和 ResNet-18 对 ImageNet 图像进行分类时，每次推理分别耗时 14.6 毫秒和 8.4 毫秒，能耗分别为 5.1 毫焦和 2.8 毫焦。