arXiv cs.LG精选77

DEX:面向能效型 MSDF 神经网络推理的数位级提前退出

DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference

· 5天前

精选理由

展示数字级提前退出在保持分割精度的同时降低神经网络推理计算与能耗。

AI 摘要

arXiv:2610.11748v1 公告类型:cross 摘要:用于脑肿瘤分割的 U-Net 推理需要数十亿次乘加运算,因此需要能够动态降低计算量的硬件,而不能仅依赖固定精度或静态模型压缩。最高有效数字优先(MSDF)算术能够在计算过程中逐步暴露结果的高位数字,从而在生成完整数值之前,根据输出做出决策。本文提出了一种用于量化 U-Net 分割的 MSDF 加速器,其中包含支持有符号 INT8 操作数和流内偏置累加的两阶段分组处理单元。四种运行时机制直接作用于输出数字流:ReLU 层中的精确提前负值检测(END)、分割头中的精确仅符号决策、经校准的低阶数字跳过,以及经校准的剪枝。两种近似机制在满足精度约束的情况下离线选择,执行时仅需轻量级控制,且无需修改存储的权重。在使用 nnU-Net 针对 BraTS 训练的残差 U-Net 上,所提出的机制将数位周期减少了 38.38%,并在 73 个留出病例上取得 80.58% 的平均 Dice 分数,而浮点模型的得分为 81.20%;仅使用精确机制即可在不改变量化输出的情况下将周期减少 18.79%。在 45~nm 工艺下综合后,该处理单元的工作频率为 500~MHz,占用面积为 0.858~mm$^2$;根据标注开关活动的功耗分析,在每个 $192\times192$ 图像块上的能耗为 0.726~mJ。预计采用共享激活传输的八输出加速器可实现 16.6~ms 的延迟,以及每个图像块 1.67~mJ 的能耗。

查看原文(arXiv cs.LG)