面向接触密集型操作中强化学习的势场动作表示

无模型强化学习可以通过试错交互习得接触密集型机器人操作技能，但通常需要策略同时学习任务策略和底层运动生成。在这种情况下，动作表示至关重要，因为它决定了策略输出如何转换为机器人运动，并同时影响探索过程和物理执行。直接的笛卡尔指令接口要求策略在每个决策步骤生成运动，将任务层面的适应与连续的底层控制耦合起来，从而增加学习负担。我们提出了 PA-RL，一种使用人工势场作为动作表示的强化学习框架。策略不再直接控制运动，而是调整类似能量的势场参数，由此生成与状态相关的引导方向，并通过笛卡尔阻抗控制器执行。我们在插销入孔任务上评估了 PA-RL。这是一项具有代表性的接触密集型任务，包含非线性动力学和不连续的接触转换。在仿真中，我们使用相同的强化学习算法，将 PA-RL 与笛卡尔速度、笛卡尔位姿和可变阻抗动作空间进行比较。在规定的训练时间内，PA-RL 是唯一达到 100% 评估成功率的方法，而表现最佳的基线方法达到 92.6%。相较于最佳基线方法，在奖励函数未明确加入运动质量惩罚的情况下，PA-RL 还将关节力矩变化降低了 55.4%，将笛卡尔加速度变化降低了 70.8%。此外，仅使用仿真训练的策略在无需微调的情况下，进一步完成了真实机器人上的 9/9 次插入任务，证明了所学习势场接口的部署可行性。