CM-DPO：面向 LLM 规划的约束间隔直接偏好优化

arXiv:2610.09219v1 公告类型：交叉发布 摘要：直接偏好优化（DPO）对所有约束违反情况一视同仁：预算超支 1 美元与超支 1,000 美元会产生相同的训练信号。当偏好对来自不同模型系列时，它还容易受到长度和风格偏差的影响。我们提出约束间隔 DPO（CM-DPO），用确定性符号验证器导出、并根据违反约束的严重程度缩放的连续间隔，替代 DPO 的二元偏好信号。通过字典序目标将硬约束与软约束分开，确保绝不为满足偏好而牺牲硬约束。为了向 CM-DPO 提供偏差更小的训练对，我们在名为 SynPlan-R 的框架内，通过程序化生成的约束配置（DCCG）以及基于推理教师的最小编辑蒸馏（RT-MED）生成偏好数据。在 TravelPlanner、NaturalPlan 和分布外的 PlanBench 上，使用 CM-DPO 微调的 8B 模型实现了 89.2% 的通过率和 93.4% 的求解率，以仅为多智能体系统 1/13 的延迟达到与其相当的表现，同时在未见过的 Blocksworld 上比 GPT-4o 高出 9.2 个百分点。