偏好后训练中面向多样化成功轨迹的 Direct Diversity Optimization

用于序列决策任务的 LLM 智能体通常使用轨迹级结果标签进行后训练，但此类标签对于保留同一决策状态下的多个成功分支所提供的监督很少。我们将这一问题研究为成功策略覆盖问题：在固定 rollout 预算下，模型能够多广泛地实现不同的成功策略。我们提出 Direct Diversity Optimization（DDO），这是一种离线后训练方法，将 Divergence-Tree Collection（DTC）与 Reference-Relative Target-Odds Objective（RTO）相结合。DTC 构建以共享决策状态为根、状态对齐的分支集合；RTO 则训练模型，使其在成功替代方案上匹配相对于参考模型的目标。在 BabyAI、BabaIsAI 和 WebShop 上，与所比较的后训练方法相比，DDO 在任务成功率和成功策略覆盖率方面均取得最优表现。此外，在局部动作替换后，DDO 还实现了最高的恢复率；与仅成功轨迹模仿和解码时多样化对照方法相比，其任务成功率和覆盖率也更高。