NavGPT-3：在分层导航运行时中利用上下文

arXiv:2610.10787v1 公告类型：cross 摘要：通过长时域智能体强化学习训练的语言模型能够通过推理泛化知识、表达精确动作，并在多个步骤中追求目标，从而提升具身智能体的理解与决策上限。然而，物理交互仍属于动作策略的领域，动作策略能够提供密集且低延迟的控制。我们提出 NavGPT-3，这是一个连接这两类模型的框架，并在其上构建了类似操作系统的运行时：推理、行动和监控作为拥有各自上下文、工具与权限的线程运行，同时由运行时负责调度这些线程，并决定哪个线程控制机器人的运动，使机器人能够通过中断与线程切换应对现实世界中的突发事件。在底层，我们的动作策略 NavGPT VLA 使用 19.28M 个样本进行训练，并通过编解码器分配机制，按照场景变化的比例分配视觉标记；其单独的 8B 模型在 R2R-CE 上达到 74.51 SR，并以 78.19 SR 在 RxR-CE 上领先。使用完整框架后，NavGPT-3 在 R2R-CE 上取得了当前最佳性能（81.51 SR），并首次使自主智能体达到人类水平：在 RxR-CE 上，其成功率与人类跟随者相当（90.43 对 90.4 SR），路径保真度也相当（78.47 对 77.7 nDTW）；每个回合耗时 1 分 22 秒，而人类大约需要 3 分钟。我们对框架设计以及两种模型之间的交互进行了全面消融实验，展示了工具和动作策略如何塑造从语言模型推理到物理控制的路径：当 NavGPT VLA 执行路线时，推理循环会缩短，系统的最短反应时间也会从语言模型每次决策所需的 3–19 秒，降至动作策略每一步所需的 0.5–1 秒（1–2 Hz）。这些结果表明，设计这种具身接口是将前沿语言模型智能与低层物理控制连接起来的核心。我们将发布所有模型、代码和评测记录。