AlphaNIST：从二元任务奖励中涌现的装配技能

NIST Assembly Task Board #1 对基于学习的机器人操作方法而言，仍是一项极具挑战性的基准。在短时域内，它要求对小型、紧密配合的零件进行精确且涉及大量接触的控制；在长时域内，它要求在较长的动作序列中实现失误恢复与协调。示范、任务分解和密集的进度奖励通过提供如何装配的指导，推动了相关研究的进展。但究竟有多少策略必须预先指定？从 AlphaGo 到 AlphaGo Zero 的发展表明，大规模强化学习能够在不预先规定如何获胜的情况下发现超越人类的策略。AlphaNIST 探索的是：稀疏的二元任务奖励，以及这种与任务无关的奖励所允许的任务多样性，能否同样让机器人自主发现如何装配。在仿真中，我们针对 NIST Assembly Task Board #1 上的全部 20 项装配任务，从零开始训练单一策略，在不使用示范、进度奖励塑形、脚本化动作基元或逐任务调优的情况下，实现了 98.2% 的总体训练成功率。该框架还训练策略在单个回合内、不按预定顺序完成十组配对装配，且仅在全部十组均处于完成状态时才给予任务成功奖励。习得的策略发现了灵巧且类似规划的行为：为后续装配选择抓取方式，利用周围的几何结构调整零件朝向，以及在没有显式规划器的情况下，先准备一个零件，再装配另一个零件，随后返回完成第一个零件的装配。视频请见我们的网站：https://alpha-nist.github.io/