通过基于采样的模型预测控制加速视觉策略学习

学习用于运动和操作的视觉策略需要协调与环境的接触，并可能带来高昂的计算和 GPU 内存开销。一阶策略梯度（FoPG）通过可微分仿真降低训练成本，但局部优化可能收敛到非预期的接触模式。为解决这一不足，我们提出 Sampling-Guided Policy Search（SGPS），将基于采样的模型预测控制所进行的反复动作目标优化与一阶策略优化相结合。行为克隆利用采样动作初始化策略；随后，在扰动的初始状态和随机化动力学条件下，训练交替进行基于采样的优化和短时域 FoPG 更新。对于视觉策略训练，我们采用解耦的 FoPG 公式，将渲染过程排除在计算图之外，从而无需状态—策略教师即可直接从深度观测中学习。在单块 GPU 上，SGPS 在模拟的 Unitree Go2 和 G1 机器人上学习了运动、障碍穿越、推箱子和双臂搬运策略。我们的实验进一步表明，优化过程能够在初始化和仅跟踪的基础上提升策略学习效果。在硬件部署中，蒸馏后的策略可零样本迁移到真实 Go2，并利用机载深度信息自主完成小跑、爬行、跨越障碍以及这些行为之间的切换。