通过自博弈进行游戏引导的技能发现，实现可玩智能体控制

我们提出了游戏引导的技能发现（GGSD），这是一种利用游戏中的自博弈来发现可由人类直接操控的运动技能的框架。可玩技能为具身智能体的控制提供了一种紧凑抽象，使其能够通过一小组学习到的行为进行控制，而非依赖底层动作。为了发挥作用，这些技能应当在语义上彼此区分、易于解释且具有较强的表达能力；而现有的无监督技能发现方法通常难以同时满足这些要求。GGSD通过将技能发现建立在竞争性游戏过程中，实现了这些目标。一个分层智能体与其过去的自身版本进行竞争：高层策略从一个小规模的离散技能集合中进行选择，技能条件化的低层策略则学习相应的行为。训练完成后，人类可以替代高层策略，通过同一组离散技能直接控制智能体。尽管高层动作数量很少，技能之间的转换仍会产生涌现的连招行为，使表达能力超越单个基本动作。在 Ant、Franka-arm 和 Unitree G1 环境中，我们展示了 GGSD 能够生成可由人类操控的技能，人类可以将这些技能组合起来解决未见过的任务，例如 Maze 和 CubePush，而无需额外训练。交互式演示可访问 https://ggsd-demo.github.io。