UniIntervene++：一种用于高效真实世界强化学习的自适应干预智能体

arXiv:2610.03620v1 公告类型：新 摘要：在线强化学习（RL）使机器人策略能够通过物理交互不断改进，但随着其能力水平的变化，所需的辅助也会随之改变。因此，基于离线估计或固定决策规则的现有干预策略可能会与当前策略不匹配。为解决这一问题，我们提出了 UniIntervene++，一种自适应干预智能体，能够在在线强化学习过程中学习如何在自主执行与异构辅助行为之间分配控制权。具体而言，UniIntervene++ 首先将不断演化的 RL 策略、轨迹修正以及任务结构化的 CodePolicy 统一建模为半马尔可夫决策过程中的 Options，并在线学习它们的相对价值。在此基础上，能力自适应干预通过无辅助执行定期探测 RL 策略，使控制分配能够及时响应其不断变化的能力。最后，耦合式经验学习使辅助行为能够改进 RL 策略，而策略不断演化的结果又会反过来重塑未来的干预决策。通过这种方式，随着 RL 策略不断改进，UniIntervene++ 能够联合决定何时进行干预、如何进行干预，以及何时交还控制权。在五项真实世界操作任务中，UniIntervene++ 的平均成功率达到 89.67%，至少高出所有基线 6 个百分点；同时将人工干预比例降至 0.77%，相较于最佳基线至少减少 94.6%。代码已发布于我们的 \href{https://github.com/dannyyudong/An-Adaptive-Intervention-Agent-for-Efficient-Real-World-Reinforcement-Learning}{GitHub repository}。