仅用少量人类视频进行 Steertuning 策略学习

当前的机器人学习方案需要大量机器人示范，才能获得稳健且具备适应性的策略。在本文中，我们介绍了 Steertuning，这是一套能够让机器人仅通过 5 段人类示范，在不到 5 分钟内于新环境中学习新任务的系统。Steertuning 由两部分组成。（1）我们在自建的第一视角人类数据集上预训练了一个拥有 4 亿参数的扩散策略模型。该数据集包含 100 小时经过密集标注的随机交互数据。这种预训练使 Steertuning 能够适应背景差异，并在部署到新任务时实现空间泛化和物体泛化。（2）给定新任务的 5 段示范后，我们仅用 2 分钟（2000 次训练更新）对模型进行微调，并在反向采样过程中，使用观测结果与部署环境最接近的示范来引导策略的动作。结合专为本体迁移设计的数据处理流程，Steertuning 在 12 个新环境中的 12 项任务上取得了 71% 的成功率，这些环境涵盖实验室场景和新住宅中的厨房。从新任务的数据采集到机器人策略部署，整个过程耗时不到 5 分钟。我们的完整数据集、模型权重、代码库和机器人视频将在我们的网站上公开：https://steertuning.github.io。