RT-Safe：实时具身环境中的智能体安全基准评测

arXiv:2610.09294v1 公告类型：交叉发布 摘要：AI 智能体的快速发展使智能体安全日益受到关注，目前大量评估集中于数字环境。随着智能体进入物理世界，具身安全变得愈发重要：失误可能造成人员伤害和高昂的硬件损失。除了选择安全的行动，具身智能体还必须在实时约束下运行：物理世界不会在智能体推理时暂停。推理期间，行人持续移动、车辆不断靠近，因此，在观测时看似安全的行动，可能在执行前就已变得不安全。因此，实时具身安全同时取决于决策质量和决策延迟。我们提出 RT-SAFE，这是一个用于在实时约束下评估具身智能体安全性的模拟城市基准。RT-SAFE 将导航任务与动态参与者、环境危险和交通规则相结合，同时允许世界在整个推理与行动执行过程中持续演变。对八个 VLM 的评估表明，智能体的任务完成率很高，却几乎无法安全完成任务：在最困难的设置下，仅有 0.7% 的回合能在未发生安全事件的情况下结束。更引人注目的是，在条件匹配的静态评估和实时评估中，任务完成率分别为 91.3% 和 94.1%，但实时执行使碰撞次数增加至 $12.3\times$。这些结果表明，常规的任务成功指标可能掩盖严重的安全问题，而决策延迟本身也可能成为物理风险的来源。最后，我们展示了 RT-SAFE 能够支持离线强化学习训练，在保持较高任务完成率的同时显著降低碰撞率。