强化学习助力通用机器人策略改进的规模化
Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement
精选理由
展示机器人基础模型可通过多任务强化学习持续提升，并将改进泛化到未训练任务。
AI 摘要
arXiv:2611.06905v1 公告类型：新提交 摘要：通用机器人策略的出现，使单个大型模型能够从海量预训练数据中学习执行多种任务。尽管这些模型通常表现出强大的零样本泛化能力，但它们往往需要经过适应阶段，才能在部署时达到足够的性能。通过强化学习（RL）进行迭代式自我改进，在实现这种适应方面展现了潜力。然而，此类方法主要在单任务场景中得到探索，其目标仅仅是改进某项范围狭窄的部署任务上的表现，这与基础策略的多任务能力形成了鲜明对比。在本研究中，我们探讨通用机器人策略能否在部署过程中实现面向多任务的通用改进，即同时针对多种不同任务进行改进，以及何种算法方案能够实现这一目标。为回答这一问题，我们首先设计了一套结构化评估方案，用于测试通用改进能力，并系统评估了价值估计、策略提取和资源分配方面的算法与实践设计选择。我们表明，通用策略不仅能够在线改进多种任务上的表现，而且恰当的方法组合还能促进泛化，提升在线训练中未涉及的任务上的性能。我们分析了这种泛化发生的条件，并表明训练任务分布和基于价值的强化学习的使用都至关重要。据我们所知，本研究是最早为机器人基础模型能够实现在线通用改进提供证据的工作之一。