延迟解码，一次乘法：重新思考量化权重的点积

arXiv:2610.31913v1 发布类型：new 摘要：大型神经网络越来越多地采用 1–4 位权重和 16 位或 32 位激活值进行部署，但其点积仍然对每个元素使用一个乘法器。我们证明，对于权重编码为 k 位的长度为 n 的点积，可以通过 n+2^k 次加法，以及最多 2^k 次解码和 2^k 次乘法来计算。每个权重编码都直接用作地址偏移量，用于选择 2^k 个累加器中的一个；每个激活值都被加到所选累加器中；累加后的和仅在最后通过融合的解码与乘法步骤进行解码和乘法。整个过程中不会生成解码后的权重向量。对于整数运算，这种重构是精确的；它适用于整数或浮点操作数以及任意解码器（包括非线性解码器），并且可扩展到分组缩放因子以及矩阵和张量乘积。乘法器数量减少了 n/2^k，而总算术能耗则以更小但有界的倍数得到改善，我们通过成本模型对其进行了量化。我们介绍了一种散布-累加处理单元（SA-PE），用它替代权重驻留式脉动阵列中的 MAC 单元，并采用加载/流式传输/归约/排出调度，使一个小型、可分时复用的乘法器在每个数据块中仅运行 2^k 次。由于不存储解码后的权重，本地权重存储器最多可缩减至原来的 w_d/k，其中 w_d 是解码后权重的位数。我们针对 FPGA 实现了 RTL 版本，并与匹配的 MAC 阵列进行了比较。结果表明，未共享的 SA-PE 比 MAC PE 更大；只有当归约乘法器在多个 PE 之间共享时，才能体现出节省。软件模型证实了整数运算的精确等价性，以及浮点误差不高于传统流水线。我们并不声称底层恒等式是新的，同时讨论了权重共享和基于查找表的内核方面的相关工作。