面向长时程机器人任务的可泛化密集奖励

arXiv:2604.00055v2 公告类型：replace-cross 摘要：现有机器人基础策略主要通过大规模模仿学习进行训练。尽管这些模型展现出强大的能力，但由于分布偏移和误差累积，它们往往难以应对长时程任务。虽然强化学习（RL）可以对这些模型进行微调，但若不进行人工奖励设计，就难以在多样化任务中取得良好效果。我们提出了 VLLR，这是一种密集奖励框架，结合了（1）来自大语言模型（LLMs）和视觉语言模型（VLMs）、用于识别任务进度的外在奖励，以及（2）基于策略自身确定性的内在奖励。VLLR 使用 LLMs 将任务分解为可验证的子任务，随后使用 VLMs 估计进度，在短暂的预热阶段初始化价值函数，从而避免在整个训练过程中产生高昂的推理成本；同时，自身确定性在整个 PPO 微调过程中提供逐步的内在引导。消融研究揭示了二者的互补优势：基于 VLM 的价值初始化主要提高任务完成效率，而自身确定性主要提升成功率，尤其是在分布外任务上。在涵盖移动操作与导航的 CHORES 基准上，VLLR 相比预训练策略的成功率绝对提升最高达 56 个百分点；相比最先进的 RL 微调方法，在分布内任务上的提升最高达 5 个百分点，在分布外任务上的提升最高达 $10\%$，且均无需人工奖励设计。更多可视化结果见 https://silongyong.github.io/vllr_project_page/