UTA：通用训练自适应学习率衰减

学习率衰减（LRD）对于训练高性能模型至关重要，但现有大多数设计仍主要依赖经验。尽管 Universal Budget Aware（UBA）LRD 提供了一个理论框架，但其对 SGD 动力学的依赖限制了其在现代 Adam 类优化器中的适用性，也使其关键的“优化难度参数”难以解释。为弥合这一差距，我们提出了 Universal Training Adaptive（UTA）LRD。不同于 UBA 仅以迭代次数为依据、预先固定的离线轨迹，UTA 将 LRD 视为一个闭环的形状与尺度问题。通过连续时间建模，UTA 能够自适应训练状态，并在各个分段上采用最优形状。这种自适应性将外部迭代次数与内部训练状态联系起来，使其能够在演进形状和学习率（LR）尺度两个方面实现近乎最优的路径；包括 UBA 在内的其他 LRD 均无法实现这一特性。在实验中，我们在语言模型（LLaMA 60M 至 1B）和视觉模型（ResNet50、ViT-B）上进行 ImageNet 实验，结果表明 UTA 能够以即插即用的方式带来稳定提升，同时额外开销几乎可以忽略不计。广泛的消融实验进一步验证了 UTA 在多个维度上的稳健性，包括峰值 LR、最终衰减比例、其参数 $\varphi_0$、各组成部分的有效性，以及对微调场景的泛化能力，凸显了其实际应用的可行性。