一个 MLLM，一次调用：基于空间感知航点的高效零样本视觉语言导航

连续环境中的视觉语言导航（VLN-CE）要求具身智能体遵循自然语言指令，在未见过的环境中进行导航。当前的零样本 VLN-CE 方法要么依赖预训练的航点预测器，要么需要在每个步骤中多次查询大型模型。为了解决推理延迟高和计算开销大的问题，我们提出了 O2C-Nav，这是一种高效的零样本导航框架，每个决策步骤仅调用一次大型模型。我们的方法引入了一种无需训练的结构化航点生成器，以及一种新颖的抽象表示，将稀疏且具备历史感知能力的候选航点直接投影到 RGB 图像上，作为视觉标记。MLLM 在每个步骤中选择一个航点，或生成一个备用目标边界框；随后，低层 Fast Marching Method（FMM）规划器将所选目标转换为一条可执行且无碰撞的路径。该范式为模型提供了具体的空间感知能力和显式记忆，同时显著降低了视觉处理负担。在 R2R-CE 和 RxR-CE 基准上的大量评测表明，O2C-Nav 超越了当前最先进的零样本方法，展现出在实时机器人部署中的巨大潜力。代码见 https://github.com/kkpsq/O2C-Nav-Code。