当机器人听错我们时:绘制语音控制的 Embodied AI 的安全风险图谱
When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI
精选理由
揭示语音识别误差如何放大具身AI安全风险。
AI 摘要
我们研究用户输入中的自动语音识别(ASR)错误是否会导致 Embodied AI(EAI)模型产生不安全输出。我们发现,ASR 错误会使有害指令被 EAI 模型接受并执行,从而降低安全性。我们模拟 ASR 错误,并将其与现有安全基准(SafeAgentBench 和 POEX)结合,以评估不同错误如何影响具身 AI 安全。我们发现,其中一些错误保留了语义结构,但增加了有害歧义;另一些则削弱了模型的拒绝行为,使不安全计划得以生成并执行。我们表明,在某些情况下,对 ASR 错误进行自动纠正可以降低风险,但这并不总是有效。总体而言,我们证明 ASR 错误会给具身 AI 带来显著的安全风险。