Pixel-UMI：从传感器采集的人类示范中学习环境感知全身操作
Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations
精选理由
将人体示范转化为具备环境感知与避碰能力的全身操作策略，并通过实验证明其在多类复杂任务中的有效性。
AI 摘要
利用传感器采集的人类示范可为移动操作提供可规模化获取的数据，但人机具身差异使策略学习变得复杂。我们提出 Pixel-UMI，这是一套从人类数据中学习环境感知全身策略的流程。首先，我们引入 Environment-Aware Retargeting（EAR），将重建的场景几何信息与示范中的头部及夹爪轨迹相结合，以确定机器人姿态，并生成考虑碰撞的关节和底座目标。经过延迟校准的动作分配将这些轨迹转换为动作。然而，运动学差异可能导致残余位姿误差，造成人类示范与机器人观测之间的视角不匹配。因此，我们引入 Retargeting-Error-Aware Masking（REAM），在训练期间利用这些误差，减少部署时对不匹配视角的依赖。最后，由于估计的动作无法充分捕捉接触密集型交互，我们通过 DAgger 收集当前策略执行过程中的人工纠正，以提升性能。我们在五项具有挑战性的任务上评估 Pixel-UMI，涵盖关节式物体操作、可变形物体处理、受限空间内的伸手触达、全身避碰，以及接触密集型双臂协调，平均任务进度达到 87.0%。视频结果见 https://pixel-robot.com/pixel-umi