arXiv cs.AI精选76

MAGMA-GEN:通过反事实重新执行从歧义失败中获得经验证的恢复监督

MAGMA-GEN: Validated Recovery Supervision from Ambiguous Failures via Counterfactual Re-Execution

· 26天前

精选理由

通过反事实重演,将模糊失败转化为可验证恢复训练信号,提升机器人长程操作成功率。

AI 摘要

执行长时域操作任务的分层机器人系统必须做出高层语义决策,以协调具有随机性的低层技能。在这种情况下,失败的轨迹执行结果存在歧义:下游状态不佳可能源于无效的高层决策、不完整的观测,或物理执行失败但决策本身有效。传统监督学习缺乏此类恢复状态的数据,而强化学习则难以应对稀疏奖励和非局部信用分配问题。我们提出 MAGMA-GEN,这是一种在线数据生成流程,可将歧义性的失败轨迹执行结果转化为经过验证的恢复监督信号。MAGMA-GEN 首先利用特权教练推测早期决策层面的错误,并提出局部修正或恢复动作。由于这种诊断并不总是可靠,只有在相同状态、匹配条件下重新执行后能够改善下游进展的候选样本才会被保留。由此,该方法无需逐步的人类示范,便能从智能体自身的失败分布中生成监督样本。在交互式长时域操作任务上的评估表明,在模拟环境和真实机器人执行中,面对不断变化的任务约束,MAGMA-GEN 相较于蒸馏和轨迹修复基线均能提升任务成功率和恢复能力。

查看原文(arXiv cs.AI)