DPO 超参数景观的形态：应测量什么、它如何随规模变化，以及何时不应迁移

Direct preference optimisation（DPO）广泛用于语言模型后训练，但其性能很大程度上取决于超参数的选择，例如学习率和参考策略正则化参数 $β$。为更好地理解 DPO 超参数景观，我们在同一模型系列的不同规模上，使用密集的超参数网格开展了大量实验。这使我们能够分析最优 DPO 超参数如何随模型规模和更新步数变化，同时利用中间检查点提供低成本信号，以加速超参数优化过程。此外，通过在静态和动态基准上评估模型，我们确定了哪些基准能够为超参数选择提供最强信号。最后，我们研究了不同先进超参数优化策略在这一设置下的表现。实验表明，最优学习率会随模型规模变化，并且超参数无法跨训练数据集迁移。我们还发现，验证损失并不是超参数优化的良好代理指标，因为使验证损失最小化的超参数与下游基准上的最优超参数之间仅存在较弱相关性。因此，DPO 超参数需要针对目标模型、数据集和评估目标进行专门调优。我们还表明，短时的候选训练运行可以大幅降低这一选择过程的成本。我们公开了所有训练配置和评估结果，以支持对选择质量和训练成本进行可复现分析。