MobileVISTA：用于移动操作中位姿泛化的生成式数据增强

arXiv:2610.07511v1 公告类型：cross 摘要：移动操作机器人（如人形机器人）正越来越多地被部署于动态、非结构化环境中，以执行灵巧操作任务。然而，用从单一机器人位姿采集的示范数据进行模仿训练得到的端到端操作策略十分脆弱：部署时即使机器人位姿出现厘米级偏差，也可能使以自我为中心的观测和末端执行器轨迹偏离训练数据分布，导致性能大幅下降。我们提出 MobileVISTA，这是一种数据生成框架，通过联合执行以下两项操作，将在规范位姿下采集的示范转换为多样化的、经过位姿扰动的训练数据：（1）增强第一视角视觉观测；（2）重新映射动作，以补偿基座位姿变化。不同于以往方法假设相机刚性安装在驱动链之外，或假设复杂的关节式机器人几何结构大部分位于画面之外，MobileVISTA旨在适配第一视角平台（如人形机器人）：在这类平台中，相机会受到机器人运动学链运动的影响，同时也必须观测该运动学链。我们在涵盖人形机器人和双臂机器人形态的仿真任务中，以及真实的 Galaxea R1 Pro 上研究了 MobileVISTA。我们发现，使用 MobileVISTA 增强数据训练的策略对测试时遇到的、此前不属于训练分布的位姿表现出更强的鲁棒性，且无需额外采集示范数据或训练生成模型。此外，我们发现 MobileVISTA 在所测试的人形机器人上的收益最大，这是因为相机安装在驱动链上，且机器人占据了画面的大部分区域。更多视频和附录请见我们的网站：https://mobilevista.github.io