通过经校准的潜在表征探测实现视觉-语言-动作模型的失败预测与分类
Failure Prediction and Classification in Vision-Language-Action Models Via Calibrated Latent Probing
精选理由
提出轻量且校准的监测方法，帮助机器人提前发现并分类故障，在任务迁移时更安全地采取纠正措施。
AI 摘要
视觉-语言-动作模型（VLAs）使通用具身智能成为可能，但其性能在分布偏移下十分脆弱，意料之外的失败可能损坏设备或危及人身安全。因此，在真实世界系统中部署 VLAs，需要一种及时、经过校准且能提供有效信息的运行时监测器，同时其效率必须足以支持边缘端运行。现有方法无法满足这些要求。我们提出 VLA-Tug，这是一种针对 VLA 骨干网络潜在层的轻量级探针，能够以极低的推理开销改善早期失败检测，并为漏检率和误报率提供界限。我们表明，在轨迹中失败发生前的片段上施加监督，可在相同假阳性率下，使早期失败检测率较最强的学习型基线最多提高 30%。当分布偏移至未见过的任务时，漏检率和误报率的界限在多达 86% 的运行中仍然有效，而基线方法最多仅为 21%。与现有方法不同，VLA-Tug 能够预测失败模式，以支持采取纠正措施；在未见过的任务上，其前三准确率较多数类基线最多提高 44%。VLA-Tug 支持实时监测，其及时且信息丰富的探针可为轻量级引导提供支持，从而提高任务成功率。我们在 https://vla-tug.github.io 发布了一个包含 3,180 个带标注操作回合的数据集，以支持未来基于潜在表征的 VLA 失败检测研究。