多保真策略梯度稳定数据稀缺的强化学习

arXiv:2610.02505v1 公告类型：new 摘要：当昂贵且稀缺的目标域数据导致梯度估计噪声较大时，用于在策略强化学习（RL）的策略梯度方法可能会变得不稳定。我们通过将有限的高保真（HF）目标域数据与大量廉价但存在偏差的低保真（LF）数据相结合来应对这一挑战，例如来自简化模拟器的数据。现有大多数方法直接优化基于 LF 数据的有偏目标。相比之下，近期提出的多保真策略梯度（MFPG）框架仅使用 LF 数据构造控制变量，以降低方差并提升 HF 数据效率，同时不对策略梯度估计量引入偏差。然而，关于 MFPG 的已发表研究仅限于小规模模拟任务中的 REINFORCE。我们针对 GPU 并行模拟和实体机器人上的现代 actor-critic 学习开发了 MFPG。我们的分析和实验表明，将其直接扩展到近端策略优化（PPO）可能会丢失跨保真度相关性或增大方差。我们的 MFPG-PPO 通过重新设计采样、优势估计和控制变量构造来保持跨保真度相关性，并通过监测估计量不确定性来防止方差增大，从而解决了这些问题。我们还提出了一种具备预算感知能力的 MFPG-PPO，用于在高保真和低保真数据源之间分配固定的采样预算。在具有不同 LF 到 HF 迁移难度和 HF 数据预算的模拟机器人运动任务中，MFPG-PPO 在几乎所有设置下都优于仅使用 HF 数据训练的 PPO；在最困难的任务和最小 HF 数据预算下，其性能始终可与使用多出 16 倍 HF 数据训练的 PPO 相当。相比之下，大多数使用 LF 数据的基线方法仅在直接 LF 到 HF 迁移成功的情况下表现良好。MFPG-PPO 使实体 Franka 机械臂能够实现稳定学习，每次更新仅需 4 个真实机器人回合，且无需人工示范。