arXiv cs.AI精选78

当世界说谎:针对下游控制的潜在世界模型后门攻击

When the World Lies: Backdoor Attacks on Latent World Models for Downstream Control

· 29天前

精选理由

新颖度 86 / 深度 80,来自 arXiv cs.AI。

AI 摘要

预训练世界模型是一类学习得到的模拟器,它将观测编码为潜在状态,并预测该状态在动作作用下如何演化;如今,它们正开始像预训练编码器和语言模型一样,被作为现成的动力学骨干用于控制。我们表明,这种复用会打开一个供应链后门:只控制已发布 checkpoint 的攻击者可以劫持下游控制器,即使受害者完全在干净数据上训练和评估,并且从未见过触发器。该攻击并不编码显式的触发器到动作规则。相反,被投毒的模型会将带有触发器的观测路由到选定的潜在区域,并重塑该处的局部动力学,使受害者自身的优化过程(Dreamer 风格的想象中 actor 训练,或基于预测未来的 MPC/CEM 规划)自行重新发现攻击者的目标动作。在多个控制任务和触发器族上,触发器会将控制器的动作引向攻击者的目标,控制每一个动作维度,并在最强设置下劫持 100\% 的触发步骤。该 checkpoint 仍能通过受害者在部署前会运行的干净数据诊断,干净任务成功率至少保持在 $\sim$75\%。这种效果具有时间门控性:它只在触发器存在时出现,并在触发器移除后消失。触发器盲修复取决于预算:适度的干净微调可以在保留干净效用的同时使触发失败保持不变,而足够激进的适配只有在显著降低干净控制性能之后才能将其移除。因此,世界模型骨干本身正成为控制领域一个新兴且研究不足的攻击面。完整代码和制品可在我们的 repository 中获取。

查看原文(arXiv cs.AI)