利用稀疏人类指导实现真实世界移动操作的分层残差策略学习

移动操作（MoMa）是自主机器人系统的基石，但由于高维动作空间以及异构模块之间复杂的耦合关系，真实世界中的微调仍面临严峻挑战。本文提出 HiRe-MoMa（分层残差移动操作），这是一个系统性框架，旨在对复杂 MoMa 系统进行稳定且高样本效率的真实世界微调。HiRe-MoMa 的核心是采用分层残差架构，在保持基础策略冻结的情况下进行微调。与策略无关的残差模块学习叠加于基础策略之上的加性修正，而分层解耦则将残差拆分为采用单向条件依赖的移动底盘分支和机械臂分支，从而减轻梯度干扰，并使修正与平台的物理层级结构相匹配。为提高真实世界中数据获取成本高昂场景下的样本效率，我们提出专家引导的价值对齐方法，利用覆盖率不足训练过程 20% 的稀疏人类干预，重塑评价器的价值分布，从而通过专家先验有效引导自主探索。在 TIAGo++ 平台上开展的大量真实世界实验表明，无论基础策略采用何种架构，HiRe-MoMa 都能仅用约 30 分钟的在线交互持续提升任务表现。据我们所知，这是首批能够在真实世界中对移动操作进行高效机器人端微调的框架之一，为在动态、以人为中心的环境中部署复杂机器人系统提供了切实可行的范式。更多详情请参阅我们的项目网站：https://hire-moma.github.io/