EgoLAP：通过语言-动作推理从第一视角人类数据中学习

第一视角人类数据为突破昂贵的机器人示范、扩展机器人学习提供了一条路径，但具身差异使原始人类轨迹难以成为控制的良好监督目标。我们的关键洞见是：尽管低层动作具有具身特异性，但其背后的运动意图能够捕捉与任务相关的结构，并在人类与机器人之间迁移。我们提出 EgoLAP，一种 VLA 预训练框架，通过共享的基于语言的动作思维链，联合利用人类和机器人轨迹进行学习。EgoLAP 将运动意图表示为结构化且具有时间抽象的语言动作，并将其与基于场景几何、物理规律和物体可供性的运动层面推理相结合。在大量真实世界和仿真实验中，EgoLAP 比其他动作表示方式更有效地将人类经验迁移至机器人控制，在真实世界任务中达到 80.1% 的平均任务进展，相较其他动作表示方式性能提升 2.3 倍。运动层面推理的表现也优于一种复合推理格式，后者结合了子任务、物体框和视觉轨迹推理。