通过幂律熵搜索高效估计最优超参数缩放定律

最优超参数缩放定律描述了用于训练大型语言模型（LLM）的最佳超参数如何随模型规模和数据规模变化，从而使实践者能够在无需昂贵的大规模调参的情况下预测生产规模下的最优配置。然而，传统上估计这些缩放定律需要在数千次训练运行上进行穷尽式网格搜索，消耗巨大的计算资源。我们提出幂律熵搜索（Power-Law Entropy Search，PLES），这是一种具有计算成本感知的采集函数，基于多保真贝叶斯优化，通过自适应实验高效估计最优超参数缩放定律。PLES 的一项关键创新在于，它搜索的是能够降低缩放定律估计整体不确定性的候选项，而不是优化单一目标函数。在每次迭代中，PLES 会选择在单位计算成本下最大限度降低缩放定律估计不确定性的候选配置，自然地偏向于信息量更高的小规模实验。我们在合成基准、拟合真实 LLM 训练数据的代理模型，以及实际的 LLM 预训练运行上评估了 PLES。结果表明，在所有设置中，PLES 仅用传统网格搜索和其他基线所需计算预算的不到十分之一，就收敛到了准确的最优超参数缩放定律。