TAPDreamer：适用于世界动作模型的可迁移对抗补丁

世界模型学习预测其环境将如何演变，因此成为通用机器人控制的重要基础。然而，世界动作模型依赖摄像头输入，而对摄像头输入的操纵可能破坏跨任务和动作策略所使用的视觉表征。现有针对这类模型的攻击会针对受害模型的动作或预测未来进行优化，因此需要访问目标模型的输出。在本文中，我们提出了一种针对世界动作模型的攻击方法 TAPDreamer。该方法仅使用一个公开编码器来构造固定的局部扰动，使其能够跨任务和动作架构迁移。TAPDreamer 无需查询目标策略。我们的关键洞见是：补丁引起的注意力权重变化与价值向量变化之间的交互，会将几乎相同的表征偏移传播到远超补丁覆盖范围的区域，并且这种偏移在不同任务观测之间保持稳定。基于这一洞见，TAPDreamer 使用来自一个源任务的六帧图像，最大化干净编码器表征与带补丁编码器表征之间的全局 L1 距离。在闭环评估中，每个基准使用一个冻结补丁，该补丁覆盖约 6.5% 的输入，使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%，在 50 个 RoboTwin 任务上的成功率从 90.8% 降至 0.0%；而匹配的随机补丁仍能保持 81.5% 和 79.2% 的成功率。在两个 DreamWAM 配置中，相同补丁将成功率分别降至 2.1% 和 0.8%，并将 Motus 上的成功率降至 10.0%。这些结果表明，仅保护下游动作生成是不够的：世界动作模型的防御还必须保护共享视觉编码器，使其免受持久性局部扰动的影响。