紧凑型机器人策略需要细粒度视觉表征

arXiv:2610.08183v1 公告类型：交叉收录 摘要：多任务操作策略在架构、规模和预训练先验上同时存在差异，因此已发表的比较无法将性能归因于任何单一组件。我们认为，性能主要来自视觉表征，而参数规模和生成式先验在很大程度上只是次要因素。为验证这一点，我们构建了 CoRP（Compressed Representation Policy），这是一种刻意设计得紧凑的策略（4890 万参数，不使用视觉语言模型，也不使用视频生成先验），由表征提取器和基于流匹配的动作生成器组成。它在 LIBERO 上达到 97.0% 的成功率，在 RoboTwin 2.0 Clean/Randomized 上分别达到 75.78%/73.36%，与规模为其 40.9–163.6 倍的系统相当。随后，我们固定动作生成器，每次仅改变提取器的一项属性。预训练初始化具有决定性作用：使用随机初始化的 ViT-S/14 时，LIBERO 上的成功率降至 78.1%；使用经 ImageNet 预训练的 ResNet-34 时，则降至 74.5%。仅有预训练还不够，因为冻结编码器会导致成功率下降 19.8 个百分点。压缩同样重要：将每个视角重采样为 48 个词元，效果优于传入全部图像块词元（97.0% 对比 83.2%）；而对这些词元施加变分信息瓶颈，效果不如硬性限制词元数量，因为它抑制了策略所依赖的、随指令而变化的词元选择，使 LIBERO-Goal 上的成功率从 95.8% 降至 33.0%。语言条件仅在观测无法明确目标时才有贡献（LIBERO-Goal：从 9.2% 提升至 95.8%）；而在观测不存在歧义的 RoboTwin 2.0 上，移除语言条件反而略微提高了成功率。因此，我们认为，紧凑型策略能够奏效的关键在于其表征经过预训练、针对任务适配并得到压缩。项目页面：https://corp-policy.github.io/