SmolWAM：面向边缘设备机器人操作的潜在世界-动作模型

arXiv:2610.13740v1 公告类型：cross 摘要：世界-动作模型（WAM）能够预测机器人的动作以及这些动作将产生的观测结果。然而，性能最强的模型依赖视频扩散 Transformer，其计算开销对于资源受限的边缘设备而言过高。我们提出 SmolWAM，这是一种潜在 WAM，由拥有 2B 参数的 Cosmos Policy 构建而成：保留其预训练主干网络，并重建其推理接口，包括单帧视觉潜变量、保留主干网络注意力汇的缓存文本特征、28 个 Transformer 模块中的 12 个，以及从中读取动作和未来视觉潜变量的 1,008 个 token，并在一次整流流步骤中完成读取。SmolWAM 仅用 3.6 个 GPU 小时训练完成，在 400 个 LIBERO 回合中的成功率达到 95.5%；对于每个包含 16 个动作的分块，其延迟为 57 ms，计算量为 2.3 TFLOP，GPU 内存占用为 2.4 GiB。与教师模型相比，它的速度快 11 倍，FLOP 少 18.5 倍，内存占用降低 3.2 倍，同时其世界头仍能预测场景运动。