RoboTryOn：通过虚拟试穿从人类视频合成灵巧机器人演示

机器人基础模型在机器人控制方面展现出卓越性能，但将其适配到新任务仍严重依赖遥操作演示。第一人称人类视频提供了一种可扩展的替代方案，但将渲染的机器人叠加到人类视频上，或将人类姿态重定向为机器人动作，对于高自由度机器人实体而言仍会产生显著的视觉差距或动作差距。为解决这一局限，我们提出 RoboTryOn，将人类到机器人的转换视为虚拟试穿：虚拟试穿保留人物并替换服装，而 RoboTryOn 保留演示动作并将人类替换为机器人。具体而言，RoboTryOn 根据参考图像指定的目标机器人，将人类视频转换为目标机器人的视频，同时保留原始任务、物体和背景。为保持视觉一致性，我们以自回归方式转换选定的关键帧，并利用这些关键帧引导视频合成，同时以人类手部骨架作为动作条件。此外，我们使用融入深度特征的逆动力学模型（IDM），从合成视频中推断动作标签，用于策略学习。在多个类人机器人实体上的实验表明，使用我们的合成数据训练的策略，在包括具有挑战性的双手操作在内的新任务上，平均成功率从 2% 提升至 60%，且无需这些任务的任何真实机器人演示。此外，使用我们的合成数据进行训练，在数据采集成本约为三分之一的情况下，达到了仅使用遥操作演示训练的策略的性能，证明了我们方法的成本效率。