Skytopia:基于动作条件潜在世界模型的单目无人机导航
Skytopia: Monocular Drone Navigation with Action-Conditioned Latent World Models
精选理由
用动作条件潜在世界模型提升单目无人机导航效率,实现跨场景零微调部署。
AI 摘要
单目无人机导航要求无人机仅凭单个朝向前方的摄像头,在未见过的环境中抵达目标,而这种视觉输入只能提供很少的深度和尺度线索。世界模型通过建模观测如何随动作演化来解决这一问题,但它们是为执行而构建的:在部署时生成预测,并在每个控制步骤将其反馈给动作生成过程。我们认为,策略从世界模型中需要的并不是预测本身,而是生成预测所需的表征:在飞行过程中,已执行的动作几乎可以解释观测之间的全部变化,因此预测可以简化为在已知位移下对静态场景进行重新投影。为此,我们引入了 skytopia——一种建立在动作条件潜在世界模型之上的策略,以及用于训练该策略的 3D Gaussian Splatting 平台。前向目标根据预期运动预测下一观测的表征,逆向目标则从预测的状态转移中恢复该运动。由于预测结果从未传递到动作生成过程中,因此可以舍弃预测器,并由同一个策略完成点目标、图像目标和无目标导航。仿真实验表明,在这三种设定下,skytopia 均优于所有基线方法,成功率分别达到 57.8%、66.0% 和 49.0%;同时,舍弃预测器可减少 59.4% 的推理开销。随后,我们在无需微调的情况下将同一策略部署到实体无人机上,并在室内、开阔室外和林地环境中成功抵达目标。