迈向更易调参的训练算法：AlgoPerf 的新结果

arXiv:2610.13036v1 公告类型：新论文 摘要：评估深度学习优化器具有挑战性，因为超参数调优、优化器与模型的协同设计等混杂因素往往会掩盖算法的真实性能。我们展示了更新后的 AlgoPerf V1 基准测试结果，在固定硬件上，以达到目标所需的实际运行时间为指标，对一组新的训练算法在九种工作负载上的表现进行了评估。本报告重点介绍该基准测试中自调优规则集的结果，该规则集要求参赛方案在所有工作负载中使用同一套配置。在使用 PyTorch 和 JAX 的 13 个参赛方案中，Schedule-Free AdamW 排名第一。除实际运行时间得分外，我们还分析了迭代步效率与实际运行时间之间的权衡，发现采用矩阵预条件的方法和双循环方法具有良好的样本效率，但需要更大力度的计算优化，才能在运行时间上具备竞争力。最后，我们对超参数显著性和保留情况的分析表明，学习率和动量在不同领域和算法中均表现出高度敏感性，这凸显了开发对超参数调优更具鲁棒性、且能良好泛化到新任务的方法的必要性。