DRIFT:通过对抗性贴片攻击使流匹配 VLA 的去噪轨迹偏离
DRIFT: Derailing Denoising Trajectories of Flow-Matching VLAs with Adversarial Patch Attack
精选理由
揭示流匹配机器人策略的鲁棒性盲点,并以小型通用贴片大幅破坏任务执行,警示现实部署风险。
AI 摘要
arXiv:2608.03207v2 公告类型:replace-cross 摘要:pi0 等流匹配视觉-语言-动作(VLA)模型通过对学习得到的去噪速度场进行积分来生成机器人动作,据报道,这类模型能够抵御那些轻易欺骗自回归 VLA 的对抗性扰动。我们表明,这种鲁棒性在很大程度上只是假象:它源于以往的攻击忽略了多步去噪常微分方程(ODE)。我们提出 DRIFT(Denoising Redirection via Input perturbation of the Flow-matching Trajectory),这是一种在测试时放置于机器人夹爪上的通用对抗性贴片,用于攻击现成策略的去噪速度场。我们的核心发现有悖直觉:仅攻击第一个去噪步骤,比攻击更大范围的多个步骤效果更强、成本更低。我们通过输入空间优化所特有的梯度冲突来解释这一现象,而这一现象与训练时的后门攻击情形恰好相反。在四个 LIBERO 测试套件中针对 pi0 和 pi0.5 开展的实验表明,DRIFT 仅用一张小贴片,就能使几乎所有原本可完成的任务失败,其效果远超动作空间和嵌入空间中的攻击基线。