MOMASPLAT：面向移动操作的动态新视角示范增强

通过模仿学习训练的视觉运动策略对相机视角变化高度敏感。这一问题在移动操作（MoMa）中尤为突出：由于导航不确定性、定位漂移和环境约束，机器人在执行操作时的底座位姿很少与采集示范时完全相同。近期方法利用新视角合成（NVS），从未见过的视角扩充示范，但这些方法假设场景是静态的，因此无法在接触后的交互阶段重新渲染被操作物体，导致示范中最关键的部分未得到增强。我们提出 MOMASPLAT，这是一种面向移动操作的新视角示范增强框架，能够从未见过的机器人底座位姿合成完整的操作轨迹，其中包含动态物体交互。我们的核心洞见是，标准 MoMa 数据采集过程自然提供了对静态场景和被操作物体进行三维重建所需的多视角观测。MOMASPLAT 结合三维高斯泼溅、前馈式三维基础模型以及基于运动学的动作重定向，分别重建场景和被操作物体，从新视角渲染二者，并生成与变换后的动作配对、几何一致的合成示范。我们在三个场景中的五项真实世界移动操作任务上评估了 MOMASPLAT，这些任务涉及刚性物体和铰接物体；同时，我们在仿真中对照真值验证了合成示范的保真度。MOMASPLAT 显著提升了对未见过的底座位姿的鲁棒性，平均成功率达到最强基线的两倍以上，并且在所有基线均失败的大幅底座位移条件下仍保持可观的成功率，同时减少了对大规模真实世界数据采集的需求。