X-Reset：通过跨实体重置扩展以物体为中心的强化学习

仿真中的强化学习（RL）可以在没有机器人演示的情况下训练灵巧操作策略，但使用与任务无关的奖励来训练单一的通才策略会面临严重的探索问题：从零开始发现如何接近、抓取并重新定向具有许多自由度的多样物体十分困难。以往工作通过高质量机器人演示、针对每个任务的奖励塑形，或将策略限制在狭窄的行为模式内，使探索变得可行。我们提出 X-Reset，这是一个转而利用人手-物体演示来解决探索问题的框架。X-Reset 并不模仿或跟踪重定向后的人类动作，而是将手-物体状态在运动学上重定向为带噪声的机器人状态，过滤掉在仿真中不稳定的状态，并在使用通用的以物体为中心的奖励进行 RL 训练时，将剩余状态作为重置进行采样。由此得到的策略仅依赖于物体状态和目标，演示通过重置分布进入训练。我们表明，X-Reset 能够在三种实体形态的 20 个物体上训练通才策略——两种不同机械臂上的 22-DoF 手，以及一个平行夹爪——并解决从零开始进行 RL 的探索挑战。X-Reset 可随训练物体数量扩展，泛化到未见过的物体，能够从不完美的手部姿态估计中学习，并将行为以零样本方式从仿真迁移到现实。