黑屏与冻结：分析相机故障下 VLA 的物理失效模式

不可靠的视觉输入会损害视觉-语言-动作（VLA）模型的任务性能，并带来潜在的物理安全风险。我们分析了 $π0.5$ 和 GR00T 模型在图像黑屏、画面冻结等输入故障下的行为。我们发现，即使任务成功率同样较低，黑屏和冻结也会产生不同的物理失效模式：冻结会导致更极端的关节运动行为，而夹爪闭合后发生黑屏则可能导致更多物体掉落；在缺乏本体感知时，这一现象尤为明显。选择性干预研究表明，本体感知（机器人当前状态）可以部分弥补被移除的机器人图像信息，并减少与目标无关的接触。然而，当腕部视角中的物体信息被移除时，即使借助剩余的场景视角，本体感知也无法充分恢复任务成功率。随后，我们评估了两种缓解方法：相机黑屏训练，以及无需训练地替换故障视觉嵌入。两种方法都能在特定条件下提高任务成功率，但也可能增加意外接触或对周围物体的扰动。真实机器人试验进一步表明，在相机故障下成功执行任务仍可能涉及意外的物理交互。这些发现促使我们设计 VLA 策略：利用相机故障时仍可获得的机器人和物体信息，限制危险运动。