ADEPT：通过使用强化学习进行预训练和后训练来加速灵巧性

我们介绍了 Accelerating Dexterity via Pre-Training（ADEPT），这是一个大规模强化学习（RL）框架，用于在高自由度（DoF）机器人形态上学习可从模拟迁移到现实的灵巧性，能够直接基于原始视觉-触觉感知解决长时程任务。ADEPT 先在一个通用的物体重定位任务上预训练灵巧策略，然后以后训练方式将该预训练行为作为先验来训练下游策略。ADEPT 使多指机器人能够学习从零开始难以发现的新行为，并避免在每个新的下游任务中反复学习同一套技能。预训练策略能够以零样本方式完成下游任务中的重定位阶段，但朴素的 RL 微调会在迁移过程中迅速削弱这种能力。为解决这一问题，我们提出了一套稳定的后训练方案，结合行为克隆蒸馏、评论器预热和保守的在策略更新。为了安全地利用完整的运动学灵巧性，我们引入了一种关节空间 Geometric Fabric，用于在 RL 策略与机器人之间进行调解。我们将后训练后的教师蒸馏为具备感知能力的学生，这些学生能够在两种机器人形态上实现从模拟到现实的零样本迁移：配备两个 RGB 相机的 23 DoF Kuka-Allegro，以及配备两个 RGB 相机和五个基于视觉的触觉传感器的 29 DoF Flexiv-Sharpa，并且能够以接近人类水平的速度，凭借灵巧性从具有挑战性的初始状态解决长时程任务。