arXiv cs.AI精选84

LIBERO-RIG:视觉-语言-动作模型的硬件设置鲁棒性基准

LIBERO-RIG: A Hardware-Setup Robustness Benchmark for Vision-Language-Action Models

· 13小时前

精选理由

深度 95 / 新颖度 90,来自 arXiv cs.AI。

AI 摘要

机器人策略应能在不同部署环境中实现泛化,包括机器人本身的变化:摄像头受到碰撞并重新安装,标定发生漂移,控制器以不同频率运行,末端执行器垫片出现磨损。我们提出 LIBERO-RIG,这是一个仅对机器人硬件和设置施加扰动、同时保持所有 LIBERO 任务不变的基准。该基准涵盖 11 个扰动维度,包括摄像头安装与光学参数、摄像头到机械臂的标定、驱动增益、控制频率、本体感知噪声、基座位姿、桌面高度以及夹爪垫片。每个维度包含 5 个严重程度等级,在四个 LIBERO 套件中共形成 210 种条件。我们使用每种条件下 500 个回合评估了 9 个近期视觉-语言-动作模型,并通过严格的统计检验验证每项发现。汇总成功率从中等严重程度下的 0.932 降至最高严重程度下的 0.509,中等严重程度下为 0.767。性能下降幅度在不同扰动维度和动作接口之间存在显著差异;针对视觉扰动进行训练,并不能缓解那些不会改变摄像头图像的故障。我们将同时发布该基准及其清单,其中规定了每个回合的固定扰动参数。

查看原文(arXiv cs.AI)