DexTacWAM：一种用于灵巧操作的视觉-触觉世界-动作模型

灵巧操作依赖于接触动力学，而仅凭视觉通常只能部分观测到这些动力学。近期的 World-Action Models（WAMs）将预测式视频世界建模与动作生成相结合，但仍主要以视觉为中心，因此无法直接建模这些接触动力学。我们提出 DexTacWAM，这是一种视觉-触觉 WAM，能够分别编码每个指尖，通过具备手指与姿态感知能力的触觉压缩器聚合所得特征，并将触觉潜变量注入视频扩散世界模型，以进行联合视觉-触觉世界建模。在一个具有 22-DoF 双手平台上的六项接触密集型灵巧操作任务中，DexTacWAM 在每项任务上都取得了最高分，平均得分为 70.6，而最强基线为 38.0。消融实验表明，性能提升源于将接触演化作为预测世界状态的一部分进行建模，而不仅仅是进行触觉条件控制：在保持相同触觉特征和动作专家的情况下，移除触觉世界建模会使四项任务的平均得分从 74.7 降至 26.6。借助冻结的预训练视觉 VAE，我们在进行了四小时触觉编码器适配后，实现了持续的视觉到触觉学习：无需进行触觉中期训练，仅使用每项任务约 100 个示范，就能将预训练视频模型扩展到触觉领域，同时保持视觉预测质量，与仅视觉模型的对应版本相差不超过 0.5 dB。该压缩器在实现训练速度提升 2.26 倍、推理速度提升 1.29 倍的同时，保留了融合前接触召回率的 89.4%。总体而言，这些结果表明，预训练视频先验能够以高数据效率和计算效率的方式扩展到分布式多指接触动力学。