通过潜在噪声表示桥接实现高效扩散策略微调
Efficient Diffusion Policy Fine Tuning with Latent Noise Representation Bridging
精选理由
提出LARBRID高效微调扩散策略，缓解噪声与动作价值错配，并在多项机器人任务中提升性能达2–3倍。
AI 摘要
预训练扩散策略和流策略已成为机器人领域强大的骨干模型，但通过强化学习（RL）使其适应新数据仍然面临计算成本高、样本效率低且缺乏理论保证的问题。以往通过微调初始噪声的方法绕过了代价高昂的时间反向传播，却难以解决“噪声混叠”问题：噪声空间中的价值与动作空间中的价值之间不存在自然联系。本文引入潜在噪声线性马尔可夫决策过程（LNL-MDP），解决了这些挑战。我们推导出 LNL-MDP 的桥接方程，通过噪声空间与动作空间之间的共享表示对齐价值，从而消除噪声混叠问题。此外，我们的 LNL-MDP 微调框架属于 FineTuneRL 理论范畴，具有近最优保证。基于这些见解，我们提出 Latent Representation Bridging for Diffusion（LARBRID）算法，该算法通过高效学习表示来优化初始分布，引导预训练模型在环境中采取最优行动。在涵盖多种机器人运动与操作任务的高难度控制问题上，该算法可将性能提升至原来的 2–3 倍。代码地址：github.com/Maincode-Research/LARBRID.git。