HumanX：从人类视频中学习敏捷且可泛化的人形机器人交互技能

arXiv:2602.02473v2 公告类型：replace-cross 摘要：让人形机器人执行敏捷且自适应的交互，一直是机器人领域的核心挑战。当前方法受限于逼真交互数据的稀缺，或依赖精细的任务专用奖励设计，这限制了其可扩展性。为缩小这一差距，我们提出 HumanX，这是一个统一框架，可将人类视频转化为人形机器人可泛化的现实世界交互技能，无需针对每项任务单独设计。HumanX 集成了两个协同设计的组件：XGen 是一条以锚点为中心的数据生成流水线，从单目视频中生成符合物理规律的机器人交互数据，并通过数据增强构建多样化、可扩展的训练数据集；XMimic 是一个交互优先的学习框架，可从数秒的演示中学习可泛化的交互技能。我们在篮球、足球、羽毛球、货物拾取和反应式格斗五个不同领域进行评估，HumanX 成功习得了 9 种不同技能，并将其零样本迁移至实体 Unitree G1 人形机器人。习得的能力包括在不依赖任何外部感知的情况下完成投篮假动作接转身后仰跳投等复杂动作，以及仅从单段视频演示中学会连续超过 10 个回合的人机传球等交互任务。实验表明，HumanX 的泛化成功率高于以往方法，展示了在一类可锚定的交互中学习多样化现实世界机器人交互技能的可扩展路径。