铭记之梦：利用世界模型持续引导通用机器人策略

arXiv:2610.13816v1 公告类型：cross 摘要：通用机器人策略通过模仿学习进行训练，其能力受示范数据的质量和覆盖范围限制。强化学习可以通过微调策略权重，或训练一个小型模块来引导冻结生成式策略的输入噪声，从而改进并扩展这些策略。当任务按顺序到来时，这两种方法都会遭遇灾难性遗忘。针对某个任务进行微调会损害先前任务的性能，而仅进行引导则只是将遗忘转移到了共享的引导模块上。我们提出了 Dream to Remember（D2R），它持续将一个冻结的通用策略引导至新任务，同时保留其早期技能。当引导模块学习新任务时，一个冻结的预训练世界模型通过想象中的轨迹演练先前任务，在没有回放缓冲区或新数据的情况下，使该模块保持其早期行为。当世界模型足够忠实时，D2R 完全通过想象来学习新任务。否则，它在环境中学习任务，同时仅利用世界模型演练先前任务。在 CALVIN 上，D2R 完全通过想象按顺序改进了八个任务，使平均成功率从 63.7% 提升至 74.8%；而在相同任务序列上使用 LoRA 微调则使其降至 11.7%。借助冻结的现成通用策略和世界模型 $\pi_0$ 与 A2World，D2R 在环境中学习未见过的 LIBERO-90 任务，同时保持 $\pi_0$ 在其经过微调的 LIBERO 套件上的性能，尽管该世界模型的准确度不足以进行策略优化。最后，在真实的 Franka 机器人上，D2R 完全通过想象按顺序改进了三个任务，同时保留了早先的改进。