arXiv cs.AI精选73

LightNav-0:激发 VLM 的空间智能用于通用具身导航

LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation

· 43天前

精选理由

提出统一VLM导航框架,显著提升跨任务跨机器人泛化。

AI 摘要

具身导航要求智能体将异构目标和视觉观测转化为跨任务、跨环境以及跨机器人具身形态的动作。现代 vision-language models(VLMs)已经为视觉定位、空间推理和指向编码了空间先验,但这些能力很少被直接用于机器人控制。现有导航系统反而依赖任务或具身形态特定的组件,割裂了感知、推理和动作,同时泛化能力有限。本文提出 LightNav-0,一种紧凑的通用具身导航模型,它激发预训练 VLM 的空间智能并使其与导航对齐,而无需任务特定的预测头。LightNav-0 通过统一的 token 接口表示多样的导航任务:双通道指向表达与任务、场景和具身形态无关的空间意图,而残差向量量化动作 tokenizer 将该意图映射为精确的、与具身形态相关的轨迹。结合具备时间感知的视觉历史压缩、ER mid-training、监督微调和强化学习,这一形式化方法在单一模型中同时支持指令遵循、开放词汇目标导航和视觉跟踪。导航训练语料涵盖 2K+ 个场景和 4K+ 小时的具身导航数据。用于初始化 LightNav-0 的具身推理检查点 LightNav-ER 在 8 个具身推理基准上取得了最高的完整集合平均分,而 LightNav-0 在全部 10 个公开导航模拟设置中实现了最先进的单目成功率。真实世界评估进一步展示了其在不同机器人具身形态、多样场景以及静态和动态目标上的零样本泛化能力。这些结果确立了紧凑 VLM 作为通用具身导航统一且可迁移骨干的地位。

查看原文(arXiv cs.AI)