边缘端视觉：边缘平台上视觉语言模型推理的能耗特征分析

arXiv:2610.20136v1 公告类型：新论文 摘要：视觉语言模型（VLM）正在向边缘设备迁移，但对于它们在配备 NPU 或 GPU 加速器的单板计算机上消耗多少能量，以及这些能量消耗在哪些环节，目前仍知之甚少。我们在配备 Hailo-10H NPU 的 Raspberry Pi 5 和 Jetson Orin Nano Super 上，分别使用 CPU 和加速器运行 Qwen2-VL-2B-Instruct 及其纯文本同系列模型，测量整个系统的能耗、延迟和热行为，并将每次请求的固定能耗与随输出长度增长的能耗分离。由于这些加速器使用不同的量化方法和推理服务软件，我们比较的是部署技术栈，而非芯片本身。三项发现尤为突出。首先，将计算卸载到 NPU 可使 Pi 成为能效高得多的 VLM 平台：每个生成 token 的能耗降低约三分之二，主机 CPU 基本保持空闲，同时避免了 CPU 后端在持续运行时出现的过热降频。其次，图像既增加固定能耗，也增加每个 token 的能耗，但在典型响应长度下，生成答案的能耗远高于处理图像的能耗。第三，Jetson GPU 因每次请求的固定能耗较低而更适合短响应，Pi NPU 则因每个输出 token 的能耗较低而更适合长响应；两者的能耗曲线在输出约 40 个 token 时相交。