源自仿真的感知驱动人形机器人运动

人形机器人有潜力实现广泛实体任务的自动化。然而，通用型人形机器人自主能力的发展仍受制于数据瓶颈：将像素和自由形式的语言映射为底层关节指令需要配对监督，而目前尚不存在规模足够大的此类数据集。一些方法依赖人类遥操作和可穿戴动作捕捉设备，生成一小时的数据至少需要投入一小时的人力。我们提出 HALO，这是一个人形机器人自主系统，其支撑流程可在一千个程序化生成的住宅环境中合成视觉—语言—运动数据。该数据集的规模随计算资源而非人力投入扩展。HALO 掌握了一系列实体交互技能，包括坐到椅子上、导航至指定名称的物体、侧身穿过半开的门、蹲伏并从桌下爬过，以及推箱子。它能够协调这些技能，完成复合型长时程任务。尽管训练期间从未见过真实住宅，HALO 仍能以零样本方式迁移至物理世界，在六个未预先建图的真实环境中完成的 360 次试验中，成功率达到 91%。代码和视频见 https://apple-aiml-research.github.io/ml-halo/。