UniWALM：用于具身机器人控制的统一世界-动作-语言模型

受人类能够整合语言、感知与动作经验这一能力的启发，我们提出了 UniWALM——一种统一的世界-动作-语言模型，在单一共享表示中学习视频、动作和语言，其中每种模态既是条件信号，也是监督目标。我们提出的问题是：联合生成语言能否丰富这一共享表示，从而改善操作能力并支持依赖记忆的行为？不同于以往将推理模型或视觉语言模型连接到视频-动作骨干网络上、并将二者作为不同阶段运行的方法，UniWALM 将三种模态统一于单一的混合 Transformer 骨干网络中。该网络的各模态扩散头同步进行联合去噪，在同一次处理中同时解码子任务、文本记忆和动作，无需单独的规划阶段；生成的语言会在下一步再次作为输入，从而形成“语言即记忆”的闭环，无需外部规划器或记忆库。为确保动作流在这一更丰富的目标下保持可靠，我们进一步提出 Flow Matching with Correction（FMC），这是一种训练目标，能够教会模型从受扰动的动作轨迹中恢复，且不会增加推理时的成本。在组合式抓取与放置任务（MolmoSpaces）以及 RMBench 中依赖记忆的子集上，UniWALM 均持续优于使用相同骨干网络的基线模型（例如 FastWAM）。在前述子集上，UniWALM 在不使用任何预训练语言模型或推理模型的情况下达到 34.5%，并且仅使用单个锚点帧，就超过了配备关键帧的 Mem-0 设置（28.5%）。在真实世界的 Find-the-Item 任务中，生成文本记忆使成功率从 11.1% 提升至 61.1%，而当前最先进的 VLA 始终处于或低于随机猜测水平（<=33.3%）。