CSWAM：用于世界动作模型分布外泛化的更优因果语义表征

FastWAM 风格的世界动作模型支持高效的仅动作推理，但在视觉分布偏移下泛化能力较差。其面向重建的表征强调与外观相关的细节，限制了模型向未见过的场景和物体进行泛化。在缺少观测历史的情况下，模型还缺乏用于在陌生视觉条件下稳健识别与任务相关的状态变化和运动的时间证据。为解决这些局限，我们提出 Causal Semantic World Action Model (CSWAM)，在 FastWAM 的基础上加入了一个构建于 V-JEPA 2.1 之上的因果语义专家。V-JEPA 提供了具有时间依据的语义状态变化与运动表征，并降低了对外观相关细节的依赖。该专家从当前及过去观测构成的稀疏历史中学习这些因素的未来演化，并通过因果注意力将基于历史得到的上下文共享给视频流和动作流。在推理时，CSWAM 根据当前视频状态和观测到的语义历史对动作去噪进行条件化，同时保留高效的仅动作推理能力。我们开展了仿真和真实机器人实验，以评估模型在分布偏移下的泛化能力。在具身预训练条件下，CSWAM 在 RoboTwin 2.0 的 Clean-to-Randomized 迁移任务中将 Randomized 成功率从 10.16% 提升至 45.18%，相较 FastWAM 提高了 35.02 个百分点。在两个真实机器人任务和三个 OOD 难度等级上，CSWAM 的平均成功率较 FastWAM 提高了 42.5 个百分点，从 27.5% 提升至 70.0%。