DreamX：视频扩散模型是通用潜在动作学习器

从视频中学习通用动作表示，需要对在同一动作的不同执行过程中保持一致、同时对形体和外观变化保持不变的动力学进行建模。现有的潜在动作模型从视觉转变中推断动作，但其表示往往将潜在动作与无关的视觉变化纠缠在一起，从而限制了跨形体迁移能力。我们提出 DreamX，将预训练视频扩散模型重新用作通用潜在动作学习器。我们的方法从视频模型丰富的时空特征中提取紧凑的潜在动作，将每个潜在视频帧压缩 $\boldsymbol{300\times}$（$\boldsymbol{1{,}200 \rightarrow 4}$ 个 token）。此外，通过利用视频模型的生成先验，这些潜在动作能够捕捉与动作相关且与视觉外观解耦的动力学。由此得到的潜在空间可作为跨形体（人类和机器人）、环境及动作参数化方式的共享动作接口。在 LARY-Bench 上，DreamX 在潜在动作模型中取得了当前最佳性能。此外，在一种设置中编码的动作在另一种设置中仍然有效：该潜在空间支持任意到任意的视频迁移，以及在不同形体和环境之间进行零样本动作迁移。进一步而言，这一共享接口还支持在紧凑的潜在动作空间中学习策略，从而降低基于视频扩散的策略的计算成本。