FoldQuantVLA:通过一致折叠实现视觉-语言-动作模型的原生低比特量化
FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding
精选理由
帮助读者了解机器人低比特推理的提速与保真方案
AI 摘要
低比特视觉-语言-动作推理必须在保持机器人行为的同时降低从观测到动作的延迟。我们提出 FoldQuantVLA,这是一种训练后量化框架,在校准、权重舍入和原生整数执行过程中保持一致的激活表示。它结合了通道缩放和块 Hadamard 变换,并采用动态逐 token 量化,无需策略再训练。自定义 TensorRT 插件在 Ada GPU 和 Jetson AGX Orin 上,以四比特权重和激活(W4A4)执行语言骨干网络和迭代式动作专家中的投影。评估涵盖 LIBERO、SimplerEnv 和两个机器人平台。在三个 GR00T 检查点和 $π_{0.5}$ 上,W4A4 相较于 Orin 上的浮点 TensorRT 实现了 $1.20$ 到 $1.33\times$ 的加速,在桌面端实现了 $1.25$ 到 $1.52\times$ 的加速。将语言注意力输出和前馈下投影保留为八比特(W8A8)可提升全部四个检查点上的留出动作保真度。在四个真实机器人任务中,该配置将观测到的 GR00T N1.7 成功率从统一 W4A4 的 $80.0\%$ 提高到 $92.5\%$,每种配置进行 80 次试验,同时测得 Orin 额外延迟为 1 ms。