重构、练习、走向真实：具身智能体的引导式自我改进

在多样化任务中构建可靠的机器人能力，需要投入大量人力来开发和维护技能、设计奖励，并将感知与控制相结合。我们提出 Reconstruct, Practice, Go Real（RPG），这是一个无需更新模型权重即可实现机器人执行系统自主改进的框架。RPG 在离线数据集中识别操作能力，并在仿真环境中构建相关练习任务。在练习过程中，RPG 利用执行反馈、特权模拟器状态以及数据集中现有的视频来诊断失败原因。它会根据这些诊断结果开发新的可复用符号技能、改进现有技能，并修订系统提示词。跨任务评估会在保留候选修改及合并后的修订版本以供复用之前，对它们分别进行测试。在测试时，多模态 LLM 利用生成的系统提示词和技能库来协调感知与机器人控制。在22个操作任务的留出初始化条件下，RPG 将任务成功率从第一轮练习后的28.6%提升至15轮后的95.0%，超过了所有参与评估的基线方法，包括 ASPIRE（75.5%）和由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。经过统一的校准与硬件适配流程后，该冻结系统在全部30次实体实验中均取得成功，三个任务各进行10次实验。项目网站：https://rpg-robot.github.io/