内存带宽，而非 FLOPs：在边缘 GPU 上分析并加速基于查询的分割解码器

arXiv:2610.22377v1 公告类型：cross 摘要：基于查询的分割模型即使在工作站 GPU 上进行实时推理，也能实现出色的性能。然而，在边缘设备上，我们发现其 Transformer 解码器严重受内存带宽限制；这一瓶颈在标准 FLOP 分析中难以显现，并且会随着输入分辨率的提高和 DRAM 带宽的受限而加剧。启用张量核心 GEMM 并结合硬件 DRAM 计数器进行 FP16 屋脊线分析表明，FastInst 和 Mask2Former 中的非张量核心聚合算子仅达到 CUDA 核心屋脊点的 $2.5\%$ 至 $6\%$，却分别占据解码器运行时间的 $53\%$ 至 $70\%$，以及解码器数据传输字节数的 $61\%$ 至 $71\%$。其中最大的单个内核可达到标称峰值 DRAM 带宽的 $90\%$，实际上已使内存总线饱和。因此，瓶颈主要并非 GEMM 强度较低，而是跨内核的激活数据传输。CompactInst 通过采用无参数的 $4{\times}$ 空间池化来解决这一瓶颈，从而减少 Transformer 解码器内部移动的数据量；同时，双卷积细化头用于恢复空间细节。在 Jetson Orin Nano 上使用 TensorRT FP16 时，随着输入分辨率增加，CompactInst 可实现 $2.35{\times}$ 至 $4.74{\times}$ 的解码器加速，以及 $1.57{\times}$ 至 $2.62{\times}$ 的模型加速，同时准确率基本保持不变（COCO val2017 上为 $-0.4$ AP，Cityscapes test 上为 $+0.2$ AP）。一个解码器 FLOPs 多出 $2.57{\times}$ 的更重变体，在带宽限制最严重的设备上仍能使其解码器运行速度提升 $1.74{\times}$，从部署层面证实了决定延迟的是解码器数据传输字节数，而非 FLOPs。