DPO 超参数空间的形态：应测量什么、它如何随规模变化，以及何时不应迁移
The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It
精选理由
系统揭示DPO超参数随模型与数据变化，助力低成本调优并避免盲目迁移。
AI 摘要
arXiv:2610.27895v1 公告类型：new 摘要：直接偏好优化（DPO）广泛用于语言模型的后训练，但其性能很大程度上取决于超参数的选择，例如学习率和参考策略正则化参数 $\beta$。为了更好地理解 DPO 超参数空间，我们在同一模型家族的不同规模模型上，使用密集的超参数网格开展了广泛实验。这使我们能够分析最优 DPO 超参数如何随模型规模和更新步数变化，同时利用中间检查点提供一种低成本信号，以加速超参数优化过程。此外，通过在静态和动态基准上评估模型，我们确定了哪些基准能够为超参数选择提供最强信号。最后，我们研究了不同先进超参数优化策略在这一场景中的表现。实验表明，最优学习率会随模型规模变化，并且超参数无法跨训练数据集迁移。我们还发现，验证损失并不是超参数优化的良好代理指标，因为能够最小化验证损失的超参数，与下游基准上的最优超参数之间仅存在较弱相关性。因此，DPO 超参数需要针对目标模型、数据集和评估目标进行专门调优。我们还表明，短时间的候选训练运行可以大幅降低这一选择过程的成本。我们公开了全部训练配置和评估结果，以支持对选择质量和训练成本进行可复现分析。