利用形状教师对齐策略编码器

具备三维感知能力的表示能够提供对视角变化、物体位置变化和遮挡具有鲁棒性的几何信息，从而改善机器人操作。然而，在部署时使用三维输入需要额外的传感和处理，因此基于图像的策略更具实用性。我们探究了基于图像的策略能否在训练期间获取三维形状信息，同时在部署时保留纯图像输入接口。我们提出形状教师对齐，这是一种训练阶段机制，将预训练的三维形状表示用作基于图像的策略编码器的对齐目标。具体而言，我们将单个物体的 Point-MAE 特征作为对应图像块的目标，在不改变策略部署时的输入或架构的情况下，将几何结构迁移到策略中。在 LIBERO 上，形状教师对齐生成的图像表示更能体现物体形状及对应部件的结构，同时显著加快策略收敛并提高成功率。对于预训练策略，在 Object 和 Spatial 任务套件上，收敛速度分别提升至原来的 4.7 倍和 5.6 倍，且部署时无需形状教师或深度输入。