均衡的数据饮食：解决机器人控制超大规模 RL 中的探索瓶颈

arXiv:2610.12465v1 公告类型：cross 摘要：通用机器人必须执行从敏捷运动到灵巧操作的广泛任务。尽管仿真到现实强化学习（RL）已被证明是实现这一目标的有用工具，但当前的 RL 流程依赖大量工程工作，并且需要针对每个任务设计结构先验，例如塑形奖励和示范。近期研究表明，在若干操作问题中，将多样化的模拟器重置与大规模并行仿真相结合，可以减轻大量工程负担。然而，我们发现，将这一范式直接扩展到更精确或更具动态性的任务上，仍然并非易事。尽管模拟器重置有助于探索，但在这一分布上进行均匀采样，会将越来越大比例的学习经验浪费在策略已经掌握或尚且无法尝试的任务配置上。这使得人们难以看到扩展 RL 并行环境所带来的预期收益，因为一个批次中的大量学习信号都会在训练过程中被浪费。为缓解这一问题，我们提出 Success Guided Sampling（SGS），这是一种简单的自适应采样器，将 RL 训练集中在策略能力边界附近的任务配置上。这样，基于大规模仿真的 RL 就能充分利用一个批次中的经验，从而更有效地扩展到大规模并行仿真。在使用多达 $2^{20}$（超过一百万个）并行环境的实验中，SGS 使 RL 能够解决具有挑战性的多地形四足机器人运动任务和接触密集型装配任务，而以往方法无法解决这些任务。最后，我们将学习到的操作策略蒸馏为基于 RGB 的策略，并展示了其在真实硬件上的若干项具有挑战性的装配任务中的零样本迁移。项目网站：https://sgs-rl.github.io/。