用于自主机器人策略改进的 Skill-Space Shooting

部署在物理世界中的机器人必须能够在遇到新情况和失败时，超越初始训练水平不断改进。要使这种改进能够跨任务扩展，就必须有效利用经验，而不要求人类示范每一次纠正。近期的智能体系统提供了一种减少对人力依赖的方法：利用基础模型自主组合已学习的行为来完成任务。然而，以这种方式完成任务本身并不会教会任务策略克服自身的失败；这需要将这些行为转化为策略可学习的纠正措施。我们的洞见是，许多此类纠正措施都是人们熟悉的短时行为，即技能：它们会在不同任务中反复出现，并描述基础模型能够根据场景进行推理的动作。我们提出 Skill-Space Shooting，利用基础模型的引导，通过这些可复用技能探索纠正措施，并将成功试验转化为策略改进。真实世界实验表明，自主运行的策略能够反复得到改进；同时，技能还可以共享，从而减少改进新任务所需的教学量。通过使可复用技能成为纠正性监督的来源，Skill-Space Shooting 实现了跨任务及任务内部可扩展且具泛化能力的策略改进。更多结果和视频请访问 https://skill-space-shooting.github.io】【。