PROMO：面向四足机器人的偏好条件多目标强化学习

arXiv:2610.01260v1 公告类型：cross 摘要：四足机器人运动需要在指令跟踪、稳定性和能源效率等相互冲突的目标之间取得平衡，然而传统强化学习（RL）在训练时会将这些优先级硬编码为固定的标量奖励。我们提出 PROMO（Preference-Conditioned Multi-Objective Reinforcement Learning），一种语义多目标方法，将这种权衡作为单一运动策略在运行时的显式输入。PROMO 根据部署时面对的偏好对策略进行条件化，同时保持特定于本体的运动先验不变，从而将操作员意图与实现可行步态生成所需的奖励塑形项分离开来。与固定目标控制器、多目标基线方法以及独立训练的专家策略相比，PROMO 仅凭一个可部署策略即可实现目标专门化和鲁棒性。在仿真中采样的 100 种偏好下，按照精确 Pareto 支配关系，有 67 种行为属于非支配行为，偏好与目标之间的平均相关系数为 0.843，表明其具有广泛的 Pareto 覆盖范围和可预测的偏好响应。同一策略无需额外训练即可零样本迁移至 Unitree Go2；相较于平衡偏好，仅改变偏好就能使单位能耗最高降低 30.4%、位置误差最高降低 38.7%，以及机身姿态偏差峰值最高降低 59.0%。这些结果表明，偏好条件多目标 RL 可作为自适应腿式运动的一种实用运行时接口，其作用超越了离线构建 Pareto 集。开源代码和视频见 https://amrmousa.com/promo/。