DexPort：用于灵巧手数据采集的手持式技能接口

采集高质量示范仍然是学习灵巧操作的核心瓶颈。遥操作能够记录可执行的机器人动作，但需要完整的机器人系统，并将协调多个手指关节的负担交给操作者。人类示范更容易采集，但需要估计其运动并将其重定向到机器人，而且无法直接提供机器人动作。本文介绍 DexPort，一种面向高自由度机器人手的便携式数据采集接口。它在采集和部署阶段使用相同的手部硬件，避免了手部具身形态差异，并同时记录下达的关节目标指令和测得的关节状态。我们的关键观察是，一小组技能就能支持广泛的灵巧操作任务。在采集过程中，操作者通过移动手持式接口来指定机器人腕部运动，并选择或调整用于协调手指运动的技能。这消除了独立控制每个关节的需要，同时保留了精确抓取和手内操作等行为。我们在无需机械臂的情况下，针对多个现实世界任务并在非结构化环境中采集示范。随后，我们使用行为克隆，直接基于记录的腕部运动和手部指令训练视觉运动策略，无需技能标签。我们在四项任务上进行评估：多种物体的抓取与放置、使用手内工具进行旋拧、需要同时抓握和拉动的抽屉收纳，以及双手扫描任务。我们使用便携式设备，在实验室和真实场景中采集了超过 2,500 条示范。在这些任务中，使用记录的机器人指令而非状态时，任务成功率从 11% 提升至 64%；使用真实场景数据时，任务成功率从 36% 提升至 78%。