连续效用直接偏好优化

arXiv:2602.00931v3 公告类型：替换 摘要：大型语言模型的推理能力通常被视为一种整体能力，依赖二元偏好监督，难以捕捉部分进展或细粒度的推理质量。我们提出连续效用直接偏好优化（CU-DPO），这是一种通过以能够捕捉细粒度推理质量的连续分数替代二元标签，使模型与一组基于提示的认知策略相对齐的框架。我们证明，使用 K 种策略进行学习，相较于二元偏好，其样本复杂度可提升 Theta(K log K)；同时，DPO 会收敛到熵正则化的效用最大化策略。为利用这一信号，我们提出一个两阶段流程：（i）策略选择，通过最佳对所有策略比较来优化模型，使其选出最佳策略；（ii）执行优化，通过按间隔分层的样本对训练正确执行。该框架与领域无关：任何具有认知上不同的解决策略，并且能够提供可分解连续效用信号的任务，都可以纳入这一策略组合。在数学推理基准测试中，CU-DPO 在七个基础模型上的策略选择准确率从 35–46% 提升至 68–78%，在分布内数据集上带来最高 +6.6 个百分点的下游推理增益，并实现了有效的分布外迁移。CU-DPO 在代码生成和因果推理基准测试中也持续取得提升，证实了其能够泛化到数学领域之外。