源自仿真的感知型人形机器人运动

arXiv:2611.06908v1 公告类型：交叉收录 摘要：人形机器人有望实现广泛体力任务的自动化。然而，通用人形机器人自主能力的发展仍受数据瓶颈制约：将像素和自由形式的语言映射为底层关节指令需要成对的监督数据，而目前尚不存在规模足够大的此类数据集。一些方法依赖人类远程操控和可穿戴动作捕捉设备，每生成一小时的数据，至少需要投入一小时的人力。我们提出 HALO，这是一套人形机器人自主系统，由一条在一千个程序化生成的住宅环境中合成视觉—语言—运动数据的流水线驱动。该数据集的规模随计算资源而非人力投入扩展。HALO 掌握了多种身体技能，包括坐到椅子上、导航至指定名称的物体、侧身穿过半开的门、蹲下并爬行穿过桌子下方，以及推动箱子。它通过协调这些技能来完成复合型长时程任务。尽管训练期间从未接触过真实住宅，HALO 仍能以零样本方式迁移至物理世界，在六个未预先建图的真实环境中进行的 360 次试验中，成功率达到 91%。代码和视频请见 https://apple-aiml-research.github.io/ml-halo/。