arXiv cs.AI精选76

通过累加感知量化使 DNNs 适应电压缩放引发的错误

Adapting DNNs to Embrace Voltage Scaling Induced Errors via Accumulation-Aware Quantization

· 2天前

精选理由

提出软硬件协同量化与频率调节方案,使深度网络在低电压运行时节能 39%,且精度损失控制在 1% 以内。

AI 摘要

深度神经网络(DNNs)在各类计算平台上的广泛部署,使能源效率与原始性能一样受到日益增长的关注。尽管电压缩放是降低功耗的有效手段,但其在下一代工艺节点上的应用受到吞吐量严重下降和易受工艺变化影响的制约。本研究提出一种软硬件协同设计方法,旨在解决这些能效与可靠性之间的权衡问题。该方法基于以下观察:在不同的电压—频率工作点下,脉动阵列累加器内具备时序鲁棒性的位区间存在显著差异。在软件层面,我们提出一种累加感知训练方法,将这一信息作为训练过程中的首要优化约束。通过结合混合精度量化与非结构化剪枝,我们有效约束模型的权重分布,以避免激活硬件中易触发时序错误的高位进位链。在架构层面,我们辅以选择性的最高有效位(MSB)屏蔽和细粒度时钟门控,以尽量减少不必要的动态开关活动。此外,我们根据各层的数值敏感性,采用逐层动态频率缩放策略,进一步适应累加器缩小后的动态范围。我们在深度微缩的 2nm 工艺节点上对所提出的方案进行了实验评估。结果表明,在低电压极限附近运行时,与标称电压实现相比,经协同优化的布局后架构可分别将能耗和能量—延迟积显著降低 39% 和 23%,同时将准确率下降控制在 1% 以内。

查看原文(arXiv cs.AI)