Immiscible Diffusion Policy：通过无标签噪声分配保留多模态机器人动作

arXiv:2610.09369v1 公告类型：交叉发布 摘要：扩散策略最初提出时，人们预期它能够恢复多模态动作分布。然而，我们发现这一预期并不总能实现：即使我们保证数据集中各模态均衡，并确保批次内严格对称，扩散策略仍经常坍缩为单一模态。我们的分析表明，独立的动作—噪声配对会加剧扩散路径之间的混合与交叉，从而导致去噪响应趋于平均化，并抑制模态特有的行为，是造成这一失效的原因之一。这一问题在机器人规划中尤为严重，因为动作空间密集且维度较低，显著增加了此类混合与交叉。为缓解这一问题，我们提出 Immiscible Diffusion Policy，这是一种用于扩散策略训练阶段的无标签附加方法，通过动作—噪声分配来保留相对独立的噪声到动作的路径，无需修改策略架构或推理流程。在涵盖状态、RGB 和点云观测的五项仿真及两项真实世界人形机器人操作任务中，我们的方法显著提高了策略保留动作模态的能力，同时保持了出色的任务表现。在三项双模态任务中，该方法将非主导模态的占比提高至原来的 6.0–14.6 倍；在两项四模态任务中，均恢复了原始策略执行轨迹中完全缺失的示范模态。这些结果表明，Immiscible Diffusion Policy 为在通用机器人学习任务中保留动作多模态性提供了一种简单而稳健的方法。