PrefPI：Preference-Guided Policy Iteration 引导进入分布外行为

我们提出 PrefPI（Preference-Guided Policy Iteration），一种仅利用对自生成轨迹的相对偏好来引导预训练生成式机器人策略的迭代框架。不同于以往主要强化策略已表示模式的偏好学习方法，我们研究的是超越初始有效支撑集的引导问题：在初始策略下，期望的行为很少出现，甚至从未出现。我们的核心思想是将偏好学习表述为偏好条件生成建模：偏好轨迹定义了一个条件分布，该分布与更广泛行为先验之间的密度比提供了一种隐式偏好信号，并通过无分类器引导（CFG）得到放大。重复执行这一偏好条件建模与引导步骤，可以形成一种偏好引导的策略迭代，推动策略逐步改进并实现此前无法获得的行为。在仿真和真实环境中，针对扩散策略以及 PI0.5 流匹配 VLA 的实验表明，PrefPI 仅需有限反馈即可产生显著的行为变化。尤其是，在真实硬件上，仅使用 150 条带偏好标签的轨迹，PrefPI 就将物体运输高度从 10.7 厘米提升至 19.8 厘米。