HIL-UMI：将视觉-语言-动作模型的人在环后训练引入 Universal Manipulation Interface

大规模视觉-语言-动作（VLA）模型为机器人操作提供了强大的先验，但将其适配到特定部署场景仍具挑战。基于任务特定演示的监督微调（SFT）为部署迈出了一步，但面临两个持续存在的限制：静态数据对分布外状态的覆盖有限，标准模仿目标无法区分有进展的行为与较不有用的数据。交互式后训练可以应对这些限制，但通常需要在实体机器人上反复执行策略并进行人工干预。我们提出 HIL-UMI，这是一个由策略引导的 Universal Manipulation Interface（UMI）框架，用于无需机器人的人在环 VLA 后训练。在手持式 UMI 演示过程中，HIL-UMI 在相同的观测流上查询当前策略，但不执行其预测。Energy Score 将人类动作轨迹与策略推理进行比较，并在二者差异表明存在分布外区域时触发数据收集。在另一个反馈循环中，较低的在线优势预测会识别出关键片段，用于优化基于进展的优势估计器。更新后的估计器随后使用基础演示与新策略数据的平衡混合，引导优势条件行为克隆。这一设计保留了人在环学习的迭代性和策略感知特性，同时将数据收集与机器人部署解耦。在涵盖长时程和精细操作的四个真实世界任务上的实验表明，HIL-UMI 相比 SFT 实现了稳定提升，并同时受益于定向收集和优势优化。此外，HIL-UMI 在 Clean Up Table 上优于 HG-DAgger，且单帧收集时间更低，表明其为跨操作员和地点的 VLA 后训练提供了一条可扩展路径。