CANDO：残差强化学习的保守动作-噪声方向优化

预训练生成策略为机器人控制提供了强大的行为先验，但如何通过在线强化学习高效地对其进行适应仍然十分困难。其中一个核心挑战是，如何在不破坏从离线演示中学习到的结构的情况下改进冻结的生成策略。噪声空间残差方法通过修改策略的输入噪声来应对这一问题，但现有的噪声空间方法通常通过固定的潜变量可行域来限制适应过程，这可能会排除有价值的噪声编辑。相比之下，动作空间残差方法具有更高的样本效率，但其效率仍有进一步提升的空间。我们提出了保守噪声方向优化（CNDO），这是一种噪声空间残差强化学习方法，通过学习围绕高斯潜变量样本的状态与噪声条件化方向来改进冻结的生成策略。CNDO 移除了预定义的潜变量可行域，转而通过软保守约束来规范噪声空间适应过程，该约束由保守价值估计和门控执行组成。进一步地，我们提出了保守动作-噪声方向优化（CANDO），在此基础上加入动作空间残差，将结构化的潜空间改进与局部动作修正相结合。实验表明，在 CNDO 缩小噪声空间残差学习与动作空间残差学习之间差距的基础上，CANDO 进一步超越了单空间优化，取得了 76.1 的 NAUC 和 91.4% 的最终成功率，较最佳单空间结果分别提升 6.6 的 NAUC 和 4.1 个百分点的成功率。更多演示和信息请参见 https://cando-rl.github.io/。