TAPESTRY：用于视频生成和机器人控制的单一骨干网络

预训练的视频生成模型编码了关于物理交互的丰富先验，但要将其用于机器人控制，通常需要在测试时进行资源密集型的视频生成，或从头训练动作头，而后者无法充分利用预训练骨干网络。我们提出了共享 Transformer 策略中的视频块动作标记化（Tokenizing Actions as Video Patches in a Shared Transformer Policy，TAPESTRY），这是一种世界动作模型，可将预训练的视频扩散 Transformer 重新用于机器人策略，而无需在推理时生成视频。我们的核心思想是，将机器人动作作为视频模型潜空间中的单块标记。一个轻量级线性投影将每个动作时间步映射到预训练 VAE 的块维度，随后生成的标记由与视频处理相同的分块层和 Transformer 骨干网络进行处理。共享骨干网络通过每个小批次元素采样的三种扩散目标进行优化：视频扩散使用来自机器人和人类视频的 VAE 潜变量，以建立动力学先验；联合视频+动作扩散在耦合的扩散时间步和非对称注意力掩码下，利用机器人示范数据进行训练；仅动作扩散则在干净图像潜变量的条件下对动作进行去噪。在测试时，模型从纯噪声出发，仅需单个 DDIM 步骤即可生成紧凑的动作标记序列，在消费级硬件上以每个动作块 84 毫秒的速度生成平滑的动作块，同时避免完整视频生成的成本。在多个仿真基准和真实机器人实验中，TAPESTRY 均取得了出色表现，且推理成本显著低于可比的联合视频—动作策略。更多信息请参见 https://tapestry-wam.github.io。