面向机器人系统黑盒安全强化学习控制器的演示引导观测攻击
Demonstration-Guided Observation Attacks on Black-Box Safe Reinforcement Learning Controllers for Robotic Systems
精选理由
揭示示范数据如何暴露黑箱安全强化学习控制器的攻击面，并提供防御思路。
AI 摘要
arXiv:2602.16543v2 公告类型：替换 摘要：安全强化学习（Safe RL）在安全约束下优化任务奖励，从而学习机器人控制器，但观测扰动可能导致安全违规。现有以安全为导向的攻击通常需要访问受害者网络、梯度、评论家或明确的规范——而控制器一旦以黑盒形式部署，这些假设往往难以满足。我们提出了一种演示引导的观测攻击，用于分析未知的安全强化学习控制器。该框架通过逆约束强化学习恢复状态约束和替代策略，并从演示转移中学习动力学。二者组合后的梯度能够在不依赖受害者参数、梯度或查询的情况下生成有界观测扰动；演示是唯一与受害者相关的信息。在四个 Bullet 任务和一个 MetaDrive 地图上，针对每个受害者设置三个攻击预算，该攻击在 15 个环境—预算条件中的 12 个超过了所有使用相同访问权限的基线方法；在这 12 个条件中的 7 个里，它还超过了可访问受害者奖励评论家和成本评论家的特权参考攻击。因此，为支持安全学习而发布的演示为已部署的黑盒控制器提供了攻击面。防御研究表明，状态对抗正则化能够降低攻击成本，而经测试的对抗训练和演示污染方案所提供的保护效果并不一致。