PROMO：面向偏好条件的四足机器人多目标强化学习

四足机器人运动需要在指令跟踪、稳定性和能效等相互冲突的目标之间取得平衡，但传统强化学习（RL）会在训练时将这些优先级硬编码到固定的标量奖励中。我们提出 PROMO（Preference-Conditioned Multi-Objective Reinforcement Learning），一种语义多目标方法，将这种权衡作为单一运动策略在运行时的显式输入。PROMO 根据部署阶段给定的偏好对策略进行条件化，同时保持与具体本体相关的运动先验不变，从而将操作者意图与实现可行步态生成所需的奖励塑形项分离开来。与固定目标控制器、多目标基线方法以及分别训练的专用策略相比，PROMO 仅凭一个可部署策略就实现了目标专门化与鲁棒性。在仿真中采样的 100 个偏好下，有 67 种行为在精确 Pareto 支配关系下不受支配，偏好与目标之间的平均相关系数达到 0.843，展现出广泛的 Pareto 覆盖范围和可预测的偏好响应。同一策略无需额外训练即可迁移至 Unitree Go2，仅改变偏好，相较于均衡偏好，便可使比能耗最高降低 30.4%、位置误差降低 38.7%，并使机身姿态偏差峰值降低 59.0%。这些结果表明，面向偏好条件的多目标强化学习可作为自适应腿式运动的一种实用运行时接口，其作用已超越离线 Pareto 集构建。开源代码和视频见 https://amrmousa.com/promo/。