XGenAct：通过跨任务生成增强几何信息的世界动作模型

arXiv:2610.03516v1 发布类型：cross 摘要：世界动作模型（WAM）通过预测观测和动作随时间的演变，推动了机器人控制的发展。尽管取得了这些进展，基于 RGB 和动作的未来预测并未明确解决机器人操作所需的空间理解问题。现有方法通常通过专用头或分支添加有限的空间预测任务，使空间监督的范围和模型架构都较为零散。我们提出 XGenAct，这是一种世界动作模型，通过确定性编解码器将 RGB 观测、机器人动作、度量深度、表面法线和功能角色分割表示为 RGB 视频。在训练过程中对感知任务和动作任务进行采样，XGenAct 使用一个视频扩散 Transformer 和一个目标函数，在无需针对特定模态的学习式预测头的情况下，学习跨这些空间的时序预测。在留出的 RLBench 任务上，与仅使用 RGB 的训练相比，结构化感知训练提升了平均闭环成功率；在包含五项任务的外部比较中，XGenAct 达到 52% 的成功率，而评估的最强基线为 26%。与先生成 RGB、再应用冻结感知专家的评估流程相比，它还能更准确地预测未来深度和分割结果。