CARE:为视觉-语言-动作推理认证加速
CARE: Certifying Acceleration for Vision-Language-Action Inference
精选理由
为VLA加速提供风险可验证保障,实现近10倍提速并减少评测开销
AI 摘要
arXiv:2610.08917v1 公告类型:cross 摘要:尽管视觉-语言-动作(VLA)模型发展迅速,但在每个控制步都运行它们仍然代价高昂。以往工作通常采用动作分块和视觉 token 剪枝等技术来加速 VLA 推理,并主要依据延迟和任务平均成功率进行评估。然而,加速可能会丢弃信息,使原始策略本可以完成的任务失败,而平均指标会掩盖这一风险。由于动作偏差会在闭环轨迹中累积,这些失败很难测量,因为任务失败只有在完整回合中才能观察到。因此,我们通过从相同初始条件出发进行成对 rollout,并追踪参考策略成功而加速策略失败的情况,定义了由加速引起的失败。为此,我们提出 CARE,一种用于经认证加速器选择的方法。CARE 在校准集上进行成对 rollout,从而提供有限样本保证,确保加速引起的失败风险低于用户指定的预算。它会部署速度最快且通过认证的候选方案;如果没有候选方案符合要求,则回退到参考策略。由于仅依赖终止结果和实测计算开销,CARE 无需修改即可适用于各种加速机制;同时,序贯检验和由失败触发的参考 rollout 使认证成本保持在可承受范围内。在使用 OpenVLA-OFT 的四个 LIBERO 套件上,CARE 可认证 $9.0$--$10.8\times$ 的加速,并以 $95\%$ 的置信度保证至少保留参考策略成功回合中的 $85.8\%$。在预算严格受限时,不提供保证的选择器在最多 $75\%$ 的试验中超出预算,而 CARE 始终保持在预算以内,其序贯版本相比穷举评估所需的 rollout 数量减少了 $78.9\%$。CARE 还可推广到 $\pi_{0.5}$ 的 flow 步数缩减,以及 Crafter 中的 Qwen3.5-9B 和 Llama-3.1-8B 智能体。