arXiv cs.AI精选75

当机器人听错我们时:绘制语音控制的 Embodied AI 的安全风险图谱

When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI

· 46天前

精选理由

揭示语音识别误差如何放大具身AI安全风险。

AI 摘要

我们研究用户输入中的自动语音识别(ASR)错误是否会导致 Embodied AI(EAI)模型产生不安全输出。我们发现,ASR 错误会使有害指令被 EAI 模型接受并执行,从而降低安全性。我们模拟 ASR 错误,并将其与现有安全基准(SafeAgentBench 和 POEX)结合,以评估不同错误如何影响具身 AI 安全。我们发现,其中一些错误保留了语义结构,但增加了有害歧义;另一些则削弱了模型的拒绝行为,使不安全计划得以生成并执行。我们表明,在某些情况下,对 ASR 错误进行自动纠正可以降低风险,但这并不总是有效。总体而言,我们证明 ASR 错误会给具身 AI 带来显著的安全风险。

查看原文(arXiv cs.AI)