用于真实环境双臂机器人数据采集的 UMI-Live

Universal Manipulation Interface (UMI) 设备允许人类专家在无需远程操控实体机器人的情况下，为机器人学习演示任务。将这些演示作为训练数据，仍需要一致的硬件配置、标定和数据处理流程。我们提出了 UMI-Live，这是一个用于真实环境数据采集的全栈开源双臂 UMI 系统。我们设计了定制的 UMI-Live 硬件，将相机与 LiDAR-惯性传感、机载计算和供电集成在一起，无需在采集环境中使用外部跟踪设备或进行标定。我们实现了一个简单的用户界面，用于记录数据；与此同时，异步管线并行执行 SLAM 重建，并发布可直接用于训练的数据集。我们还发布了支持双 YAM 远程操控以及 VLA 策略训练和推理的软件。我们通过微调 $π_{0.5}$ 和 MolmoAct2 验证了 UMI-Live 数据的质量：在双臂抓取与放置任务中，两者的成功率分别达到 10/10 和 8/10。此外，我们发布了涵盖三个任务、共计 40 小时的 UMI-Live 数据，以及完整的硬件设计、软件和复现指南，详见我们的 $\href{https://umi-live.github.io/}{\text{项目网站}}$。