arXiv cs.LG76
arXiv:2610.11310v1 发布类型：cross 摘要：尽管在动态第一视角环境中进行3D空间推理对于具身智能至关重要，但音频视觉大型语言模型（AV-LLMs）缺乏直接从原始感知流中处理并内化全局几何结构的明确机制。现有方法要么需要高成本的微调，要么未能充分利用模型的跨模态推理能力。本文提出FloorSAV，一种通过渲染动态2D平面地图来显式建立空间音频视觉上下文的全新框架。我们融合3D点云、相机轨迹、空间音频线索以及经过语义定位的物体地标，将该平面地图作为与第一视角视频同步的流注入AV-LLM。借助平面地图解读引导，AV-LLMs利用其多模态能力，在单次推理中联合分析视觉、听觉和几何线索。我们进一步引入SAVED-Bench（Spatial Audio-Visual Egocentric Benchmark with Dynamic Agents），构建真实世界场景中空间能力的关键任务：动态相对关系、区域和路径推理问答。FloorSAV在SAVED-Bench和SAVVY-Bench的多项任务中提升了AV-LLMs的空间推理能力。基于真实值平面地图的研究表明，凭借准确的空间信息，FloorSAV具有巨大潜力。
arXiv cs.LG81
arXiv:2610.10787v1 公告类型：cross 摘要：通过长时域智能体强化学习训练的语言模型能够通过推理泛化知识、表达精确动作，并在多个步骤中追求目标，从而提升具身智能体的理解与决策上限。然而，物理交互仍属于动作策略的领域，动作策略能够提供密集且低延迟的控制。我们提出 NavGPT-3，这是一个连接这两类模型的框架，并在其上构建了类似操作系统的运行时：推理、行动和监控作为拥有各自上下文、工具与权限的线程运行，同时由运行时负责调度这些线程，并决定哪个线程控制机器人的运动，使机器人能够通过中断与线程切换应对现实世界中的突发事件。在底层，我们的动作策略 NavGPT VLA 使用 19.28M 个样本进行训练，并通过编解码器分配机制，按照场景变化的比例分配视觉标记；其单独的 8B 模型在 R2R-CE 上达到 74.51 SR，并以 78.19 SR 在 RxR-CE 上领先。使用完整框架后，NavGPT-3 在 R2R-CE 上取得了当前最佳性能（81.51 SR），并首次使自主智能体达到人类水平：在 RxR-CE 上，其成功率与人类跟随者相当（90.43 对 90.4 SR），路径保真度也相当（78.47 对 77.7 nDTW）；每个回合耗时 1 分 22 秒，而人类大约需要 3 分钟。我们对框架设计以及两种模型之间的交互进行了全面消融实验，展示了工具和动作策略如何塑造从语言模型推理到物理控制的路径：当 NavGPT VLA 执行路线时，推理循环会缩短，系统的最短反应时间也会从语言模型每次决策所需的 3–19 秒，降至动作策略每一步所需的 0.5–1 秒（1–2 Hz）。这些结果表明，设计这种具身接口是将前沿语言模型智能与低层物理控制连接起来的核心。我们将发布所有模型、代码和评测记录。
arXiv cs.LG77
arXiv:2610.09294v1 公告类型：交叉发布 摘要：AI 智能体的快速发展使智能体安全日益受到关注，目前大量评估集中于数字环境。随着智能体进入物理世界，具身安全变得愈发重要：失误可能造成人员伤害和高昂的硬件损失。除了选择安全的行动，具身智能体还必须在实时约束下运行：物理世界不会在智能体推理时暂停。推理期间，行人持续移动、车辆不断靠近，因此，在观测时看似安全的行动，可能在执行前就已变得不安全。因此，实时具身安全同时取决于决策质量和决策延迟。我们提出 RT-SAFE，这是一个用于在实时约束下评估具身智能体安全性的模拟城市基准。RT-SAFE 将导航任务与动态参与者、环境危险和交通规则相结合，同时允许世界在整个推理与行动执行过程中持续演变。对八个 VLM 的评估表明，智能体的任务完成率很高，却几乎无法安全完成任务：在最困难的设置下，仅有 0.7% 的回合能在未发生安全事件的情况下结束。更引人注目的是，在条件匹配的静态评估和实时评估中，任务完成率分别为 91.3% 和 94.1%，但实时执行使碰撞次数增加至 $12.3\times$。这些结果表明，常规的任务成功指标可能掩盖严重的安全问题，而决策延迟本身也可能成为物理风险的来源。最后，我们展示了 RT-SAFE 能够支持离线强化学习训练，在保持较高任务完成率的同时显著降低碰撞率。
arXiv cs.AI80
基于 LLM 的智能体正在不断推动科学与工程问题求解的发展，而物理模拟正逐渐成为一种具有挑战性但又切实可行的测试平台，用于复现复杂的物理现象，并应用于具身智能、游戏和电影等领域。作为此类模拟的核心工具，求解器负责计算动态系统的状态如何随时间演化。构建这类求解器需要理解物理规律以确定合适的模型，运用数学推理来描述底层动力学，并通过软件工程将其实现为可执行代码；然而，LLM 智能体的这一能力仍未得到充分探索。为此，我们推出了 WorldSolver，这是一个包含 168 个模拟任务的基准，任务源自 61 篇经典计算机图形学论文中的物理现象，涵盖 7 个物理领域。每个任务都包含一个代码框架，为场景提供固定的模拟环境，而求解器的实现则留待智能体完成。具体而言，我们从三个维度对其进行评估：执行检查，用于判断是否成功执行；视觉保真度，用于评估渲染模拟中是否复现了预期的动态行为；以及物理合理性，用于基于物理规律验证所生成的动力学。对前沿智能体的实验表明，生成可执行的求解器本身就十分困难，而同时满足视觉和物理正确性则更加困难。GPT-5.6-Sol 和 Claude-Opus-5 的表现相较于其他受评估智能体更好，但总体得分仍分别只有 48.7% 和 46.7%。WorldSolver 是迈向智能体求解器生成的早期一步，我们希望它能够推动智能体忠实模拟动态物理世界的研究进展。代码见 https://github.com/sirujiang/WorldSolver。
arXiv cs.AI80
在多样化任务中构建可靠的机器人能力，需要投入大量人力来开发和维护技能、设计奖励，并将感知与控制相结合。我们提出 Reconstruct, Practice, Go Real（RPG），这是一个无需更新模型权重即可实现机器人执行系统自主改进的框架。RPG 在离线数据集中识别操作能力，并在仿真环境中构建相关练习任务。在练习过程中，RPG 利用执行反馈、特权模拟器状态以及数据集中现有的视频来诊断失败原因。它会根据这些诊断结果开发新的可复用符号技能、改进现有技能，并修订系统提示词。跨任务评估会在保留候选修改及合并后的修订版本以供复用之前，对它们分别进行测试。在测试时，多模态 LLM 利用生成的系统提示词和技能库来协调感知与机器人控制。在22个操作任务的留出初始化条件下，RPG 将任务成功率从第一轮练习后的28.6%提升至15轮后的95.0%，超过了所有参与评估的基线方法，包括 ASPIRE（75.5%）和由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。经过统一的校准与硬件适配流程后，该冻结系统在全部30次实体实验中均取得成功，三个任务各进行10次实验。项目网站：https://rpg-robot.github.io/
arXiv cs.AI75
我们提出了游戏引导的技能发现（GGSD），这是一种利用游戏中的自博弈来发现可由人类直接操控的运动技能的框架。可玩技能为具身智能体的控制提供了一种紧凑抽象，使其能够通过一小组学习到的行为进行控制，而非依赖底层动作。为了发挥作用，这些技能应当在语义上彼此区分、易于解释且具有较强的表达能力；而现有的无监督技能发现方法通常难以同时满足这些要求。GGSD通过将技能发现建立在竞争性游戏过程中，实现了这些目标。一个分层智能体与其过去的自身版本进行竞争：高层策略从一个小规模的离散技能集合中进行选择，技能条件化的低层策略则学习相应的行为。训练完成后，人类可以替代高层策略，通过同一组离散技能直接控制智能体。尽管高层动作数量很少，技能之间的转换仍会产生涌现的连招行为，使表达能力超越单个基本动作。在 Ant、Franka-arm 和 Unitree G1 环境中，我们展示了 GGSD 能够生成可由人类操控的技能，人类可以将这些技能组合起来解决未见过的任务，例如 Maze 和 CubePush，而无需额外训练。交互式演示可访问 https://ggsd-demo.github.io。
arXiv cs.AI85
视觉-语言模型（VLMs）为长尾自动驾驶提供了一种有前景的方法，但现有驾驶数据集在将决策关键视觉证据与推理和规划相连接方面提供的监督有限。我们提出 AnchorReasoning，这是一个构建于 WOD-E2E 之上的视觉定位推理数据集，包含 416,119 个标注帧，以及涵盖四大类别和 19 种细粒度类型的 395,379 个决策关键元素。每一帧都被组织为一条视觉定位思维链（VG-CoT），将决策关键元素的识别与定位、元素属性及其影响、驾驶动作依据，以及动作与轨迹规划串联起来。我们进一步提出一种课程式监督微调策略，逐步学习这些层次化能力，并配套一种感知目标尺寸的视觉定位指标，用于评估定位质量。在八种通用、具身智能和自动驾驶专用骨干模型上的实验表明，VG-CoT 监督能够提升基于视觉定位的推理和轨迹预测能力。在各模型中，5-s ADE 和 FDE 分别降低 7.84 和 11.86，而 RFS Frame 和 Cluster 分别提升 1.66 和 1.70。平均而言，这些提升是在推理 token 减少 18.5 个、推理延迟降低 0.32 秒/帧的情况下实现的，证明了面向视觉定位且聚焦决策的监督对于长尾自动驾驶中的 VLM 推理与规划具有重要价值。
arXiv cs.AI73
集体智能是一种协作式自主范式，多个智能体通过局部感知、信息交换和协调行动来追求共同目标。无人机集群通过协调多架飞行器执行搜索、巡检和跟踪等任务，体现了这一范式。近年来，大语言模型（LLM）智能体取得的进展增强了自然语言任务理解和高层规划能力，为任务描述与集体行为之间提供了灵活的语义接口。尽管这些进展拓展了语义推理能力，但将 LLM 智能体应用于无人机集群仍面临诸多挑战，包括将模型决策落地为可执行能力、协调全局任务推理与分布式执行，以及利用特定任务经验实现持续自适应。为应对这些挑战，我们提出了 AeroWeaver，这是一种具身智能体框架，能够将单架无人机的技能编织成协调的任务级行为。AeroWeaver 将语义决策连接至受治理的技能，组织基于角色的局部智能体以实现分布式协同，并利用按角色索引的状态—动作—奖励经验在线优化技能选择。实验和运行时验证表明，在测试条件下，AeroWeaver 能够保持技能执行的有效性，并支持以机体为局部主体的多无人机运行，而无需由中心智能体根据全局上下文生成联合动作；同时，奖励引导的在线更新为基于累积执行经验、无需训练即可实现自适应学习的集群智能体提供了一条路径。代码：https://github.com/Admire-ljb/AeroWeaver。
arXiv cs.AI76
视觉-语言-动作（VLA）模型、世界-动作模型（WAMs）以及离线强化学习方法正在迅速拓展具身策略的设计空间，但将这些算法转化为可靠的机器人系统，仍受制于碎片化的数据格式、训练栈、评估协议、推理运行时以及特定具身形态的接口。我们提出 $\mathrm{FluxVLA}$ Engine，这是一个开放的、配置驱动的平台，可将异构具身策略组件转化为可复现的从数据到部署工作流。$\mathrm{FluxVLA}$ 并不是引入另一个策略模型，而是为数据集、视觉-语言模型与世界模型、动作头、基于奖励或优势加权的学习、分布式训练、仿真评估、优化推理以及机器人操作器标准化接口。该引擎进一步集成了组合式双臂仿真、可扩展的自动数据生成，以及与模型解耦的人在环 rollout、接管、纠正收集和奖励标注。为实现响应迅速的物理执行，它将 Real-Time Chunking（RTC）与加速推理后端、轻量级远程 GPU 服务以及可配置的轨迹后处理相结合。这些能力共同通过共享且可审计的契约，将离线学习、仿真验证、在线纠正和真实机器人执行连接起来。因此，$\mathrm{FluxVLA}$ 旨在解决将有前景的具身学习算法与可复现评估和可靠部署相隔离的工程瓶颈。代码可在 https://github.com/FluxVLA/FluxVLA 获取。
arXiv cs.AI80
连续环境中的视觉语言导航（VLN-CE）要求具身智能体遵循自然语言指令，在未见过的环境中进行导航。当前的零样本 VLN-CE 方法要么依赖预训练的航点预测器，要么需要在每个步骤中多次查询大型模型。为了解决推理延迟高和计算开销大的问题，我们提出了 O2C-Nav，这是一种高效的零样本导航框架，每个决策步骤仅调用一次大型模型。我们的方法引入了一种无需训练的结构化航点生成器，以及一种新颖的抽象表示，将稀疏且具备历史感知能力的候选航点直接投影到 RGB 图像上，作为视觉标记。MLLM 在每个步骤中选择一个航点，或生成一个备用目标边界框；随后，低层 Fast Marching Method（FMM）规划器将所选目标转换为一条可执行且无碰撞的路径。该范式为模型提供了具体的空间感知能力和显式记忆，同时显著降低了视觉处理负担。在 R2R-CE 和 RxR-CE 基准上的大量评测表明，O2C-Nav 超越了当前最先进的零样本方法，展现出在实时机器人部署中的巨大潜力。代码见 https://github.com/kkpsq/O2C-Nav-Code。
arXiv cs.AI77
Vision-Language-Action（VLA）模型在语言条件下的机器人操作方面取得了令人鼓舞的进展。然而，现有数据集和基准主要评估预定义设置下的任务完成情况，对模型在空间和流程复杂性不断增加时的推理能力提供的洞察有限。我们提出 \textbf{RoboSPA}（\textbf{Robo}t \textbf{S}patial-\textbf{P}rocedural \textbf{A}ssessment），这是一个用于诊断 VLA 模型中具身推理能力的大规模机器人操作数据集和基准。\texttt{RoboSPA} 关注两个核心维度：细粒度空间推理和长时程流程规划，涵盖 10 个任务类别和 56 个基础任务。每个任务都设定为五个难度级别，共生成 280 种变体，空间歧义和流程复杂性逐步增加。我们在多种具身形态和多样场景中收集了 527K 条轨迹。除二元成功率外，\texttt{RoboSPA} 还引入了用于更细致评估的诊断指标。对代表性 VLA 模型的实验表明，当前系统在复杂空间关系、精确的底层执行以及依赖记忆的规划方面仍然存在困难。这些结果使 \texttt{RoboSPA} 成为一个具有挑战性的诊断基准，可用于开发更强大、更可靠且更具泛化能力的具身智能体。我们的数据和代码可在 https://github.com/fanzhenxuan/RoboSPA 获取。
arXiv cs.AI77
我们评估了嵌入检索，在刻意将表层形式与语义分离的情况下：检索那些共享底层结构但不共享措辞的条目，并在两个互不相关的领域中采用同一协议，分别是竞赛数学（MathNet-Retrieve；500 个查询，117,088 条目语料库）和具身智能体轨迹（基于 ALFWorld；118 个查询，336 条轨迹）。在数学领域，失败是彻底的：在最强伪装层级下，两个生产级嵌入器的严格 Hit@1 都为 0.0%（bootstrap 95% CI [0.0, 0.0]），而正确条目几乎总是位于前 10 名；在 95.2% 到 99.8% 的未命中情况下，获胜结果在词面上比正确答案更接近查询。在轨迹领域，当 gold 必须涉及不同对象时，表层变化只是附带的，同样的模型落在或接近超几何随机水平；一旦 gold 还必须在对象和容器上都不同，三种嵌入器都低于随机水平：检索锚定于字面 token，而非任务结构。词法重排序器控制在数学中有害、在轨迹中有益（将差距缩小 26% 到 36%，CI 不包含 0）；其方向揭示了某个基准的表层变化是对抗性的还是附带性的。LLM 重排序器在数学中恢复了 5% 到 63% 的差距，在轨迹中恢复了 43% 到 76%；这一方向在三个评审器中可复现（21 个单元格全部为正），但效应大小、层级分布以及离群评审器会随领域而变化（配对差异处处排除 0）。数学上的增益主要集中在知名竞赛上（+19.8 个百分点，CI [+6.7, +33.2]，六个单元格中的一个），因此恢复的一部分来自记忆。在一项配对的下游实验中（210 个查询，评分者一致率为 96% 到 99%），oracle 检索与对抗性劣质检索没有显著差异（McNemar p = 0.678）；求解器 69.5% 的 zero-shot 准确率在很大程度上只是一个截断代理指标（在完整答案上为 97% 到 100%），几乎没有提升空间。
arXiv cs.AI73
语言模型和视觉-语言模型能够生成看似合理的具身计划，但并不保证其可执行性，因为它们的输出可能违反环境动态，或作用于错误落地的实体。我们提出一种神经符号智能体，将长时域家务任务分解为任务导向的视觉探索和受约束的符号规划。第一阶段中，视觉-语言模型和探索框架从第一视角观察与落地交互中获取与目标相关的谓词和实例绑定，生成符号初始状态。第二阶段中，PDDL 转移模型将解码限制为能够扩展适用动作的 token。随后，Monte Carlo tree search 使用领域无关的规划启发式方法评估可执行的后续步骤。在该转移模型下，所得计划按构造即为可执行；其向环境的迁移则取决于正确的视觉落地。在 VirtualHome 和 ALFWorld 上，开放的 4B-27B 模型在两个环境中的成功率均超过 90%，且我们最小的智能体在各环境中都显著优于 27B 的直接视觉策略。约束与搜索被证明是互补的，而非可互换的：在 ALFWorld 中，二者单独使用时都只能解决不到三分之一的任务，而结合使用可解决超过 95% 的任务。该方法生成的 token 数量也比 extended thinking 少数倍，模型可见图像数量远少于直接交互；并且在无需任何专门训练的情况下，残余失败主要定位于状态获取而非计划生成。
arXiv cs.AI77
视觉-语言-动作（VLA）模型已成为通用型机器人策略，能够遵循多样化的语言指令并执行广泛的操作任务。然而，它们对具身智能体的直接控制也使其暴露于对抗性干扰之下，可能导致不安全的物理行为。现有针对机器人策略的攻击通常针对单一任务或指令进行优化，使得多任务 VLA 的跨任务脆弱性在很大程度上尚未被探索。我们提出 UniTexture，这是一种跨任务通用对抗纹理攻击，使用单个带纹理的 3D 物体，在多个任务中诱导 VLA 动作预测产生有针对性的偏移。UniTexture 通过可微渲染器，将策略动作输出的梯度反向传播到表面纹理参数。它使用有针对性的动作空间目标，在任务、指令、状态和视角的分布上联合优化共享纹理，将预测动作引导至攻击者定义的目标，而无需为每个任务单独优化纹理。我们在 OpenVLA 和 $π_{0.5}$ 上，跨多种操作任务和多个评估设置对 UniTexture 进行了评估。UniTexture 将平均任务成功率从良性条件下的 90.0% 降低到攻击下的 48.4%，诱导出与目标对齐的动作偏移，并进一步展现出无需重新优化的跨套件和跨模型迁移性。总体而言，这些发现揭示了多任务 VLA 中共享的跨任务脆弱性，可通过单一对抗性表面纹理被系统性利用。