VioLA：从人类数据中学习通用人形机器人控制策略

arXiv:2610.12435v1 发布类型：cross 摘要：教会人形机器人用全身遵循指令面临两大障碍。其动作空间庞大且高度耦合：机器人必须在保持平衡的同时协调腿部、手臂和手指的运动，这使得关节级动作难以学习。此外，人形机器人示范数据十分稀缺，因此当前的通用人形机器人策略无法开箱即用地遵循新指令，而是在部署前针对每项任务使用遥操作示范进行微调。人类示范的数量要多得多，但人的动作并不是机器人指令。我们通过改变通用策略的预测目标，消除了这两个障碍。我们提出了 VioLA，一种通用人形机器人策略，它预测身体和手部运动潜变量，而不是关节指令。预训练的身体控制器和手部控制器在机器人上执行这些潜变量。与之对应的运动编码器将人类和机器人的运动映射到相同的潜空间中。因此，人类记录可以在策略的动作空间中获得标注，训练示范池包含 1.406 亿帧，其中 93.2% 来自人类。由此，VioLA 无需针对特定任务进行微调，即可在真实机器人上以零样本方式遵循运动指令，成功率达到 100%；相比之下，GR00T N1.7 和 $\Psi_0$ 的成功率分别为 16.7% 和 0%。在无需针对特定任务进行微调的情况下，它在操作任务上的成功率也达到 88.6%。同样的方法适用于两个 VLA 和一个 world-action 模型骨干网络。仅使用人类示范训练的通用策略即可在真实机器人上以零样本方式完成运动任务。代码和检查点将会发布。