用于安全机器人操作的具备障碍物感知的编码智能体框架

编码智能体已成为机器人操作中一种很有前景的范式：语言模型将机器人控制器编写为程序，而以这种方式构建的智能体如今无需针对机器人进行专门训练即可操作机器人。然而，这一范式是否同样安全，尚未得到探讨。我们在安全约束下评估编码智能体，其中每个任务都将一个操作目标与一个机器人不得触碰的障碍物配对。该智能体会追求目标，但在大多数情况下会与障碍物发生碰撞，把任务完成视为唯一目标而忽视安全。该智能体在其推理轨迹中会考虑障碍物，提示词也已明确禁止触碰障碍物，因此问题既不在感知，也不在指令；问题在于规划，即所声明的约束从未成为优先事项。通过将操作分解为路径阶段和富接触时刻，我们定位了失败的来源。在路径阶段，模型无法优先考虑安全约束，因为它没有避障路径的概念，也不会在已选路径变得不可行时重新规划。在接触阶段，它并未意识到接触执行同样受该约束限制。为弥合这一差距，我们提出 SafeHarness，它为模型配备两个障碍物感知框架，使其能够优先考虑安全约束。障碍物感知路径规划将物体建模为边界框，并在其上以航点序列的形式绘制候选路径。随后，智能体会预先规划路径，对其进行验证，在必要时重新规划，然后才执行。障碍物感知接触执行则会选择接触位置，使接触本身避开障碍物。SafeHarness 实现了 71.9% 的任务成功率和 87.5% 的避碰率，分别比先前的 SOTA 高出 6.5% 和 27.0%。这些结果分别是未使用框架的同一智能体的 $2.3\times$ 和 $1.5\times$。